Robots.txt

Одна лишняя строка в robots.txt может закрыть от поиска весь сайт. Такое случается чаще, чем хотелось бы: после запуска нового сайта разработчик забывает убрать запрет, который стоял на тестовом домене, и трафик падает до нуля. Файл маленький, но ответственность у него большая.

Основные директивы

Символ * означает любую последовательность, $: конец адреса. Директива Host больше не нужна: Яндекс перестал её учитывать и определяет главное зеркало по 301 редиректам.

Пример для сайта на 1С-Битрикс

User-agent: *
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /*/filter/
Disallow: /*?sort=
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /upload/

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid&gclid

Sitemap: https://site.ru/sitemap.xml

Это ориентир, а не копипаста: у каждого сайта свои разделы. Стандартный robots.txt Битрикса часто содержит правила для разделов демо-решения, которых на сайте нет, и закрывает всю папку /upload/, а вместе с ней изображения в WebP и PDF-файлы.

Robots.txt не удаляет страницы из поиска

Запрет в robots.txt останавливает сканирование, но если на страницу есть ссылки, Google может оставить её в индексе без описания. Чтобы гарантированно убрать страницу, её оставляют доступной для сканирования и ставят мета-тег robots со значением noindex. Подробнее в статье Индексация сайта.

Частые ошибки

• Закрыты CSS и JS: поисковик не может отрисовать страницу и оценить мобильную версию.
• Одновременно Disallow в robots.txt и noindex на странице: робот не увидит noindex.
• Файл отдаёт не 200 или бывает пустым при сбоях сервера.
• Кириллические адреса без кодирования.

Как безопасно менять robots.txt

Перед правкой сохраните текущую версию. После изменений проверьте в инструменте «Анализ robots.txt» Вебмастера, что ключевые страницы, главная, категории, услуги, карточки: по-прежнему разрешены. Через неделю посмотрите статистику обхода: не упало ли число загружаемых страниц. Одна ошибка в символе * может закрыть половину каталога, поэтому каждое изменение лучше проверять на списке реальных адресов.

Отдельные правила для разных роботов

Robots.txt позволяет задавать разные правила разным роботам: отдельно для Яндекса (User-agent: Yandex), Google (Googlebot), рекламных роботов, ИИ-сканеров. Важная тонкость: если для конкретного робота есть свой блок, общие правила из блока User-agent: * он не читает. Поэтому, создавая отдельный блок для Яндекса, повторите в нём все нужные запреты. Частая ошибка: сделать блок для Яндекса только с Clean-param и забыть, что остальные Disallow для него перестали действовать.

Чек-лист перед сохранением

• Главная, категории, услуги и карточки разрешены.
• CSS, JS и изображения доступны роботам.
• Служебные разделы и параметры закрыты.
• Указан актуальный адрес sitemap.xml.
• Файл отдаёт код 200 и открывается по https-адресу основного зеркала.

Вопросы про robots.txt

Robots.txt проверяем в каждом техническом аудите.

Источники

• Яндекс Справка для вебмастера: «Использование robots.txt», «Директива Clean-param»
• Google Search Central: «Введение в файлы robots.txt»
• RFC 9309 «Robots Exclusion Protocol»

См. также: Sitemap.xml, Индексация сайта, SEO-переезд сайта.