Быстробот Яндекса

Быстробот Яндекса (быстрый робот) – это робот, которого Яндекс запустил в 2005 году параллельно с основным, чтобы за несколько часов находить и добавлять в поиск свежие страницы. Сегодня для быстрой индексации Яндекс предлагает другие инструменты: переобход в Вебмастере, IndexNow, sitemap и обход по счётчикам Метрики.

Слово «быстробот» до сих пор живёт в разговорах SEO-специалистов. «Быстробот зашёл, статья в выдаче через час», «страница была свежей, с пометкой о трёх часах, а через неделю выпала». За этими фразами стоит реальный механизм из середины 2000-х.

Как быстробот работал в 2005 году

В августе 2005 года Яндекс рассказал в своём блоге о новом роботе, который работал параллельно с основным и искал свежие страницы. По данным того поста:

Основной робот обходил интернет целиком и обновлял большой индекс реже. Быстрый держал небольшую отдельную базу свежих документов, и результаты из неё подмешивались в выдачу. На форумах вебмастеров часто описывали, как такие страницы через какое-то время пропадали из поиска, а потом возвращались, когда до них доходил основной робот.

Чем Яндекс заменил быстробот

В нынешней справке Яндекс Вебмастера отдельного раздела о быстроботе нет. Вместо того чтобы ждать, пока быстрый робот сам найдёт страницу, владельцу сайта дали способы сообщить о ней напрямую. Справка Яндекса называет четыре:

• Переобход страниц в Вебмастере. Отправляете адрес, робот приходит за ним. По справке индексирование может занять от 3 до 7 дней.
• Файлы Sitemap: новые страницы добавляют в карту сайта, а саму карту можно отправить на переобход.
• Обход по счётчикам Метрики. Робот получает сигнал, когда на новую страницу приходят первые посетители.
• Протокол IndexNow: сайт сам уведомляет поисковики о новых и изменённых адресах, через API или плагин CMS.

Яндекс советует сочетать несколько способов. Для новостных сайтов есть ещё раздел «Свежее и актуальное»: туда подключают RSS-фид, и материалы за последние 8 дней могут участвовать в поиске по актуальным событиям.

Как отправить новую страницу в поиск и какие страницы ускорять

1. Поставьте ссылку на новую страницу с главной или из раздела, который робот обходит часто. Страница без входящих ссылок рискует остаться сиротой.
2. Убедитесь, что адрес попал в sitemap.xml и отвечает кодом 200.
3. Отправьте уведомление через IndexNow, если сайт его поддерживает.
4. Добавьте адрес в переобход в Яндекс Вебмастере.
5. Через несколько дней проверьте статус страницы в разделе «Страницы в поиске».

Ускорять стоит то, что теряет ценность со временем или исправляет ошибку:

• новости, акции и события с коротким сроком жизни;
• новые товары, услуги и изменённые цены;
• страницы, с которых сняли случайный noindex или исправили ошибку сервера;
• важные адреса после переезда сайта.

Отправлять в переобход каждый адрес каждый день бессмысленно: квота уйдёт на то, что и так проиндексировалось бы.

Страница не появилась в поиске: где искать причину

Сначала проверьте, что знает о странице Яндекс:

• В Вебмастере откройте «Страницы в поиске»: там видно, когда адрес добавлен или исключён и с каким статусом.
• В статистике обхода найдите адрес и посмотрите дату визита робота и код ответа.
• Поищите в Яндексе точную фразу из начала страницы в кавычках.

Свежие страницы чаще всего задерживаются по одной из этих причин:

• На страницу нет ссылок, и робот о ней не знает.
• Страница закрыта в robots.txt или мета-тегом noindex, часто по ошибке после релиза.
• Сервер отвечает медленно или с ошибками, и робот снижает нагрузку.
• Робот тратит обход на тысячи мусорных адресов, и до новых страниц очередь доходит не сразу. Подробнее в статье Краулинговый бюджет.
• Страница попала в индекс, но исключена как дубль или малоценная. Такой статус виден в Вебмастере.

Когда робот заходил на страницу, видно в статистике обхода Вебмастера и в логах сервера. Если робот был, а страницы в поиске нет, дело не в скорости обхода, а в самой странице.

Проблемы с индексацией новых страниц находим и устраняем во время технического аудита сайта. Настройка IndexNow, sitemap и переобхода входит в SEO-продвижение.

Быстробот сегодня, Метрика, RSS и квота переобхода

Источники

• Блог Яндекса: «Теперь мы индексируем быстрее!» (август 2005)
• Справка Яндекс Вебмастера: как сообщить Яндексу о новых и изменённых страницах
• Справка Яндекс Вебмастера: «Свежее и актуальное»

См. также: Индексация сайта, IndexNow, Sitemap.xml, Яндекс Вебмастер, Yandex Verification.