Noindex — директива, запрещающая поисковым системам добавлять страницу в индекс. Устанавливается через мета-тег в HTML или HTTP-заголовок X-Robots-Tag. Страница сканируется, но не показывается в поиске.
Как работает
Поисковый робот приходит на страницу, видит <meta name="robots" content="noindex"> и не добавляет её в индекс. При следующем краулинге исключает из существующего индекса. Отличие от robots.txt: noindex работает на уровне страницы, robots.txt — на уровне URL (запрещает сканирование, но не индексацию).
Где используется
- Служебные страницы: корзина, личный кабинет, страница поиска по сайту
- Страницы пагинации (опционально)
- Тестовые и черновые страницы
- «Спасибо за заказ» и другие транзакционные страницы
Пример
<!-- Только noindex, ссылки передают вес -->
<meta name="robots" content="noindex">
<!-- noindex + не следовать по ссылкам -->
<meta name="robots" content="noindex, nofollow">
Частые ошибки
- Noindex + robots.txt Disallow одновременно — робот не прочитает тег, страница застрянет в индексе
- Случайный noindex на продвигаемых страницах — частая причина потери трафика после редизайна
- Тег размещён в
<body>— не работает
robots.txt Disallow запрещает сканирование (краулинг) страницы, но не её индексацию. Noindex запрещает добавление в индекс, но страница будет сканироваться. Чтобы страница не попала в поиск, используйте noindex. Не применяйте оба одновременно — робот не прочитает noindex если страница закрыта в robots.txt.