Одна лишняя строка в robots.txt может закрыть от поиска весь сайт. Такое случается чаще, чем хотелось бы: после запуска нового сайта разработчик забывает убрать запрет, который стоял на тестовом домене, и трафик падает до нуля. Файл маленький, но ответственность у него большая.
Основные директивы
| Директива | Что делает | Пример |
|---|---|---|
| User-agent | Для какого робота правила | User-agent: * (для всех) |
| Disallow | Запрещает сканировать путь | Disallow: /personal/ |
| Allow | Разрешает путь внутри запрещённого | Allow: /upload/*.webp |
| Sitemap | Адрес карты сайта | Sitemap: https://site.ru/sitemap.xml |
| Clean-param | Только Яндекс: какие GET-параметры не меняют содержимое | Clean-param: utm_source&utm_medium |
Символ * означает любую последовательность, $: конец адреса. Директива Host больше не нужна: Яндекс перестал её учитывать и определяет главное зеркало по 301 редиректам.
Пример для сайта на 1С-Битрикс
User-agent: * Disallow: /bitrix/ Disallow: /auth/ Disallow: /personal/ Disallow: /search/ Disallow: /*/filter/ Disallow: /*?sort= Allow: /bitrix/*.css Allow: /bitrix/*.js Allow: /upload/ Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid&gclid Sitemap: https://site.ru/sitemap.xml
Это ориентир, а не копипаста: у каждого сайта свои разделы. Стандартный robots.txt Битрикса часто содержит правила для разделов демо-решения, которых на сайте нет, и закрывает всю папку /upload/, а вместе с ней изображения в WebP и PDF-файлы.
Robots.txt не удаляет страницы из поиска
Запрет в robots.txt останавливает сканирование, но если на страницу есть ссылки, Google может оставить её в индексе без описания. Чтобы гарантированно убрать страницу, её оставляют доступной для сканирования и ставят мета-тег robots со значением noindex. Подробнее в статье Индексация сайта.
Частые ошибки
- Закрыты CSS и JS: поисковик не может отрисовать страницу и оценить мобильную версию.
- Одновременно Disallow в robots.txt и noindex на странице: робот не увидит noindex.
- Файл отдаёт не 200 или бывает пустым при сбоях сервера.
- Кириллические адреса без кодирования.
Как безопасно менять robots.txt
Перед правкой сохраните текущую версию. После изменений проверьте в инструменте «Анализ robots.txt» Вебмастера, что ключевые страницы, главная, категории, услуги, карточки: по-прежнему разрешены. Через неделю посмотрите статистику обхода: не упало ли число загружаемых страниц. Одна ошибка в символе * может закрыть половину каталога, поэтому каждое изменение лучше проверять на списке реальных адресов.
Отдельные правила для разных роботов
Robots.txt позволяет задавать разные правила разным роботам: отдельно для Яндекса (User-agent: Yandex), Google (Googlebot), рекламных роботов, ИИ-сканеров. Важная тонкость: если для конкретного робота есть свой блок, общие правила из блока User-agent: * он не читает. Поэтому, создавая отдельный блок для Яндекса, повторите в нём все нужные запреты. Частая ошибка: сделать блок для Яндекса только с Clean-param и забыть, что остальные Disallow для него перестали действовать.
Чек-лист перед сохранением
- Главная, категории, услуги и карточки разрешены.
- CSS, JS и изображения доступны роботам.
- Служебные разделы и параметры закрыты.
- Указан актуальный адрес sitemap.xml.
- Файл отдаёт код 200 и открывается по https-адресу основного зеркала.
Вопросы про robots.txt
Как проверить robots.txt?
Нужно ли закрывать страницы пагинации?
Можно ли спрятать секретный раздел через robots.txt?
Robots.txt проверяем в каждом техническом аудите.
Источники
- Яндекс Справка для вебмастера: «Использование robots.txt», «Директива Clean-param»
- Google Search Central: «Введение в файлы robots.txt»
- RFC 9309 «Robots Exclusion Protocol»
См. также: Sitemap.xml, Индексация сайта, SEO-переезд сайта.
