Настройте индексацию для всех поисковых роботов, включая современные ИИ-краулеры. CMS-пресеты, живой предпросмотр, скачать готовый файл.
Без протокола — только домен, например: example.ru или www.example.ru
Полный URL с протоколом https://. Можно добавить несколько через Enter в поле ниже.
Пауза между запросами в секундах. Для большинства сайтов не нужна — оставьте пустым.
Каждый путь с новой строки. Начинайте с / — например: /admin/. Не указывайте домен.
Используйте для разрешения подпапок внутри запрещённых директорий.
Зеленый — разрешён (по умолчанию). Красный — заблокирован. Основные правила для всех задаются в разделе выше.
Боты SEO-инструментов и архиваторов. По умолчанию разрешены — большинство сайтов не блокирует их.
Robots.txt — текстовый файл в корне сайта, который управляет тем, какие страницы поисковые роботы могут посещать и индексировать. Правильно настроенный robots.txt защищает технические разделы от индексации, экономит краулинговый бюджет и помогает поисковикам быстрее найти важный контент.
1. Укажите домен и Sitemap. Домен нужен для директивы Host (Яндекс), Sitemap помогает поисковикам найти карту сайта.
2. Выберите CMS. Генератор автоматически добавит стандартные правила для вашей системы: закроет административные панели, кэш, временные файлы.
3. Добавьте свои правила. Укажите разделы, которые не должны индексироваться: корзина, личный кабинет, фильтры поиска с параметрами.
4. Настройте роботов. Выберите, каким поисковикам открыт доступ, а каких заблокировать. Отдельно — управление ИИ-краулерами.
5. Скопируйте или скачайте файл и разместите его в корневой директории сайта (https://yoursite.ru/robots.txt).
С развитием генеративного ИИ появились десятки ботов, которые собирают контент для обучения языковых моделей — GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended. В отличие от поисковых ботов, они не дают трафика взамен. Если вы хотите защитить контент от использования в обучении ИИ, заблокируйте их в разделе «ИИ-краулеры».
Если на сайте используется реклама с UTM-метками, Яндекс может проиндексировать тысячи дублирующихся страниц вида /page/?utm_source=google. Директива Clean-Param указывает Яндексу игнорировать эти параметры при индексации — проблема дублей решается без дополнительных усилий.
Файл robots.txt должен располагаться строго в корневой директории сайта и быть доступен по адресу https://yourdomain.ru/robots.txt. Если сайт доступен как с www, так и без, роботы проверяют robots.txt для того домена, который указан в URL. Файл должен быть в кодировке UTF-8 без BOM.
Нет. Robots.txt — это рекомендация, а не защита. Порядочные поисковые боты соблюдают его, но злоумышленники и большинство парсеров — нет. Для реальной защиты приватных разделов используйте авторизацию, .htaccess или настройки сервера. Кроме того, страница, заблокированная в robots.txt, всё равно может попасть в индекс, если на неё ведут внешние ссылки — Яндекс и Google знают о её существовании, но не посещают её.
Секция User-agent: * с Disallow: /url/ действует на всех роботов по умолчанию. Когда вы добавляете отдельную секцию для конкретного бота, например User-agent: Googlebot, он будет использовать только её правила, игнорируя секцию *. Поэтому порядок секций важен, а правила из * не суммируются с правилами конкретного бота.
Crawl-delay — это задержка в секундах между последовательными запросами бота к серверу. Используйте только если сайт не справляется с нагрузкой от краулинга: замедляется хостинг или падают скорости ответа под нагрузкой. Для большинства сайтов это не нужно. Важно: Google игнорирует Crawl-delay — для управления скоростью обхода Google используйте Google Search Console.
Это зависит от вашей позиции. ИИ-боты собирают контент для обучения языковых моделей и не дают трафика взамен. Если ваш контент является уникальным и вы не хотите, чтобы его использовали для обучения ChatGPT, Claude или других моделей — блокируйте. Если вам важно, чтобы ваш сайт был источником для ответов ИИ-ассистентов, разрешайте. Заблокировать всех ИИ-ботов сразу можно кнопкой «Заблокировать всех ИИ».
После размещения файла на сервере используйте инструменты проверки: в Яндекс Вебмастере есть «Анализатор robots.txt» (Инструменты → Анализ robots.txt), в Google Search Console — «Инструмент проверки robots.txt» (Индексирование → Удаление). Также можно использовать сервис analito.ru — аудит сайта включает проверку корректности файла robots.txt.
Технические директории CMS (административные панели, кэш, временные файлы) не несут ценности для пользователя. Если поисковик проиндексирует их, они могут занять место в индексе, вытеснив важные страницы. Кроме того, публичная доступность служебных страниц — потенциальная уязвимость. CMS-пресет автоматически закрывает все стандартные технические директории для выбранной платформы.
50+ параметров: индексация, мета-теги, скорость, коммерческие факторы, план действий и сравнение с конкурентами.
Давно искала что-то простое и понятное для настройки robots.txt. Нашла — и теперь рекомендую всем коллегам. Буквально 3 минуты и файл готов, без ошибок.
Быстро, объяснения к каждой директиве — не нужно лезть в документацию. Сгенерировала и сразу залила на сайт.
Наконец-то с объяснениями! Поняла, что и зачем делает каждая директива.
Удобный инструмент для быстрой генерации robots.txt. Настройки прозрачные, вывод предсказуемый. Добавил в набор стандартных инструментов при запуске новых сайтов.
Хороший инструмент для старта. Сгенерировал robots.txt для WordPress без ошибок — сразу всё работало как надо. Хотелось бы ещё пресеты для популярных CMS, но и текущий функционал закрывает задачу.
Analito