Онлайн-проверка и анализ robots.txt сайта
Введите адрес сайта — получите содержимое robots.txt, список директив и проверку на распространённые ошибки.
Выводы
Директивы
Содержимое файла
Что такое robots.txt
robots.txt — текстовый файл в корне сайта, который сообщает поисковым роботам, какие страницы можно индексировать, а какие — нет. Яндекс и Google проверяют этот файл перед сканированием сайта. Ошибки в robots.txt могут привести к закрытию важных страниц от индексации или наоборот — к индексации нежелательных страниц.
Типичные ошибки robots.txt
Самые распространённые: «Disallow: /» — полный запрет индексации, блокировка CSS/JS (ухудшает краулинг), отсутствие ссылки на Sitemap, неправильный синтаксис директив. Проверяйте robots.txt после каждого обновления CMS или сайта.
Частые вопросы
Что значит Disallow: / в robots.txt?
Disallow: / для user-agent * означает полный запрет на индексацию всего сайта для всех поисковых роботов. Это критическая ошибка — сайт исчезнет из поисковой выдачи. Часто появляется случайно при разработке или миграции сайта.
Нужно ли указывать Sitemap в robots.txt?
Не обязательно, но настоятельно рекомендуется. Строка «Sitemap: https://example.ru/sitemap.xml» помогает поисковым роботам быстрее обнаружить все страницы сайта. Это особенно важно для больших сайтов с тысячами страниц.
Можно ли закрыть отдельные страницы через robots.txt?
Да, через директиву Disallow можно закрыть от индексации конкретные URL, папки или паттерны. Например: Disallow: /admin/ закроет весь раздел /admin/. Однако robots.txt не гарантирует, что страница не попадёт в индекс — если на неё ведут внешние ссылки, Яндекс может всё равно её показать. Для полного запрета используйте тег robots noindex.
ИИ проверит 50+ параметров: SEO, скорость, юзабилити, контент. Конкурентный анализ и план действий.