Noindex и мета-тег robots

Страница «Спасибо за заявку», корзина, результаты внутреннего поиска, фильтр «красные, до 1000 рублей, в наличии». Людям на сайте они нужны, а в выдаче только мешают: засоряют индекс и тратят внимание робота. Для них и существует noindex.

Как закрыть страницу

В коде страницы:

<meta name="robots" content="noindex, follow">

Или HTTP-заголовком, например для PDF-файлов:

X-Robots-Tag: noindex

Noindex или robots.txt

Это разные инструменты. Robots.txt запрещает роботу заходить на страницу, noindex, добавлять её в индекс. Если закрыть страницу в robots.txt, робот не увидит noindex и может оставить её в выдаче без описания, если на неё есть ссылки.

Что обычно закрывают

• Страницы фильтров и сортировок без поискового спроса.
• Адреса с GET-параметрами: utm, служебные метки.
• Внутренний поиск, корзина, оформление заказа, личный кабинет.
• Страницы «Спасибо», тестовые и черновые страницы.
• Весь тестовый домен при разработке нового сайта.

На этом сайте при аудите мы закрыли noindex страницы фильтров каталога и адреса с GET-параметрами, оставив открытой только пагинацию.

Как проверить, что noindex на месте

Откройте код страницы и найдите meta name="robots". Для HTTP-заголовка X-Robots-Tag используйте вкладку Network в браузере или проверку ответа сервера в Вебмастере. Для всего сайта краулер покажет список страниц с noindex: пробегитесь по нему глазами и убедитесь, что там нет продающих страниц.

Особенно внимательно проверяйте шаблоны после обновлений CMS и модулей. Бывает, что обновление SEO-модуля ставит noindex на целый тип страниц, и трафик раздела исчезает за пару недель.

Отдельно проверьте, что noindex не стоит на страницах из sitemap.xml: такое противоречие Search Console отмечает как ошибку.

Noindex на этапе разработки

Новый сайт собирают на тестовом домене, закрытом от индексации. Самый надёжный способ закрыть его, пароль на весь тестовый домен: тогда ни робот, ни случайный посетитель ничего не увидят, и после переноса на рабочий домен ничего не нужно снимать. Если используется noindex или запрет в robots.txt, в чек-лист запуска обязательно входит пункт «снять запрет индексации». Эту ошибку мы разбираем и в статье о SEO-переезде: сайт запущен, а поисковики его не видят.

Noindex и внутренний поиск

Страницы результатов поиска по сайту, классический пример того, что нужно закрывать. Каждый запрос посетителя создаёт новый адрес, и если такие страницы попадают в индекс, в выдаче появляются тысячи малоценных страниц вида «результаты поиска по запросу …». Google прямо рекомендует не допускать их в индекс. Решение простое: noindex, follow на шаблоне результатов поиска и запрет на сканирование адресов вида /search/ в robots.txt после того, как они выпадут из индекса.

Если по каким-то внутренним запросам есть реальный спрос, лучше создать под них полноценную посадочную страницу, чем оставлять открытой страницу поиска.

Частые ошибки

• Noindex на пагинации каталога.
• Noindex на всём сайте после переноса с тестового домена.
• Noindex и canonical на другую страницу одновременно.
• Страница закрыта в robots.txt, и робот не видит её noindex.

Вопросы про noindex

Настройку индексации делаем в техническом аудите.

Источники

• Google Search Central: «Блокировка индексирования с помощью noindex»
• Яндекс Справка для вебмастера: «Мета-теги и HTTP-заголовок X-Robots-Tag»

См. также: Canonical, Robots.txt, Индексация сайта, Краулинговый бюджет.