Краулинговый бюджет

У магазина 30 000 товаров, а робот за день обходит пару тысяч адресов. Если половина из них: фильтры, сортировки и дубли, новые товары попадают в индекс неделями. Краулинговый бюджет это внимание робота, и на больших сайтах его приходится распределять.

От чего зависит бюджет

• Скорость и стабильность сервера. Если сайт отвечает медленно или с ошибками, робот снижает частоту запросов.
• Популярность и полезность сайта. Страницы, которые часто обновляются и пользуются спросом, робот посещает чаще.
• Размер сайта и количество «мусорных» адресов.

Что тратит бюджет впустую

Как помочь роботу

1. Держать sitemap.xml чистым: только канонические страницы с ответом 200.
2. Поддерживать ответ 304 Not Modified, чтобы робот не скачивал неизменённые страницы.
3. Уведомлять о новых адресах через IndexNow.
4. Ускорить ответ сервера: кэш, нормальный хостинг.
5. Ставить ссылки на новые товары и статьи с главной и популярных разделов.

При переезде «Посуда Центр» мы заранее убрали лишнее и настроили редиректы так, чтобы робот за короткое время переобошёл новый каталог, а не блуждал по старым адресам. Кейс «Посуда Центр».

Как читать статистику обхода

В Вебмастере посмотрите, какие адреса робот загружал за последние дни. Если в списке много страниц с параметрами, фильтров и адресов с 404 или 301, бюджет уходит мимо. Хороший знак: в загрузках преобладают канонические страницы каталога, услуг и статей, а новые адреса появляются в течение суток-двух после публикации.

Для крупных сайтов полезен анализ логов сервера: в них видно каждый визит робота, код ответа и время. По логам находят разделы, которые робот посещает редко, хотя они важны, и технические ловушки, в которых он застревает.

Ещё один признак проблем: медленный ответ сервера в статистике сканирования Search Console. Если среднее время ответа растёт, Google снижает частоту обхода.

Отдельная ловушка кроется в календарях мероприятий и архивах с фильтрами по датам: робот может бесконечно переходить на «следующий месяц», генерируя тысячи пустых страниц. Такие разделы закрывают от сканирования или ограничивают диапазон дат.

Пример расчёта

Допустим, в магазине 20 000 товаров, 800 категорий и фильтров с реальным спросом, 300 статей. Полезных страниц: около 21 000. Краулер находит на сайте 95 000 адресов. Остальное составляют сортировки, пустые фильтры, параметры, дубли. Если робот Яндекса загружает в среднем 3 000 страниц в день, то при текущей структуре на полный обход уходит больше месяца, и большая часть визитов тратится на мусор. После закрытия лишних адресов тот же бюджет позволяет обойти все полезные страницы примерно за неделю. Новые товары и изменения цен начинают попадать в поиск в разы быстрее.

Частые ошибки

• Бесконечные комбинации фильтров открыты для сканирования.
• Внутренние ссылки ведут на адреса с редиректами.
• Сервер отвечает медленно в часы пиковой нагрузки.
• Sitemap содержит удалённые и неканонические страницы.

Вопросы про краулинговый бюджет

Анализ обхода входит в технический аудит.

Источники

• Google Search Central: «Управление краулинговым бюджетом для крупных сайтов»
• Яндекс Справка для вебмастера: «Статистика обхода»

См. также: Индексация сайта, Noindex, Коды ответов сервера.