Bingbot (MSNBot)

MSNBot – это поисковый робот Microsoft, который собирал страницы для MSN Search, затем Live Search и Bing. В октябре 2010 года его заменил Bingbot, но имя msnbot до сих пор встречается в robots.txt и в логах сервера.

Откройте robots.txt сайта, который запускали в конце 2000-х, и вы, скорее всего, найдёте там целый зоопарк: отдельные группы для msnbot, Slurp от Yahoo, StackRambler от Рамблера. Их когда-то добавили «на всякий случай», и с тех пор никто не трогал. Часть этих правил безвредна, а часть может работать не так, как вы думаете.

Как msnbot сменился на bingbot

Сначала bingbot представлялся короткой строкой Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm). В 2022 году Bing сменил её на строку в духе браузера: в ней есть версия Chrome и та же метка bingbot/2.0, а у мобильного робота ещё и модель смартфона. Bing пообещал держать движок отрисовки на актуальной версии Microsoft Edge, поэтому версия в строке меняется. Старую короткую строку убрали к осени 2022 года. Отдельного робота msnbot для обычного обхода больше нет.

Доля Bing в рунете небольшая, но его результаты используют и другие сервисы, например поиск Yahoo. Bing вместе с Яндексом поддерживает протокол IndexNow: уведомления о новых страницах, отправленные в Яндекс, получает и он. А в Bing Webmaster Tools можно импортировать сайты из Google Search Console, так что подключение занимает несколько минут.

Почему группа msnbot в robots.txt может отменить общие запреты

Правила для msnbot работают до сих пор. При переходе Bing объявил, что bingbot продолжит выполнять директивы, написанные для msnbot, так что старые файлы переписывать не обязательно. Если в файле есть группы и для msnbot, и для bingbot, приоритет у группы bingbot.

Здесь кроется ловушка. По правилам robots.txt робот выполняет только ту группу, которая подходит ему точнее всего, а общую группу User-agent: * при этом пропускает. Посмотрите на такой файл:

User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /*?sort=

User-agent: msnbot
Crawl-delay: 5

Группа для msnbot содержит только задержку. Есть риск, что робот Bing будет считать её своей и не увидит запретов из общей группы. Порядок в старом файле наводят так:

• Найдите в robots.txt все группы для конкретных роботов: msnbot, Slurp, StackRambler и другие.
• Сравните каждую с общей группой. Если в ней нет ничего особенного, удалите её.
• Если правила для Bing нужны, переименуйте группу msnbot в bingbot и перенесите в неё все Disallow из общей группы.
• Проверьте файл в Bing Webmaster Tools и в Яндекс Вебмастере после изменений.

Обычно после такой чистки в robots.txt остаются общая группа, при необходимости группы для Яндекса и Google и строка Sitemap.

Как проверить, что msnbot в логах – это робот Bing

Есть забавная деталь. Робот Bing приходит с user-agent bingbot, но обратный DNS-запрос по его IP часто возвращает имя вида msnbot-157-55-33-18.search.msn.com: такой пример приводил сам Bing в инструкции по проверке робота. Поэтому слово msnbot в логах или отчётах по IP не повод для тревоги.

Проверка робота Bing:

1. Возьмите IP из лога и сделайте обратный DNS-запрос.
2. Имя должно заканчиваться на search.msn.com.
3. Сделайте прямой DNS-запрос по этому имени: он должен вернуть тот же IP.

Если же в логах встречается user-agent со словом msnbot, а IP не проходит проверку, это чужой бот, который маскируется под старого робота Microsoft.

Crawl-delay и блокировки по IP: как случайно замедлить Bing

Директиву Crawl-delay Bing поддерживает и рекомендует ставить минимальное значение: 1 означает медленный обход, 5 очень медленный, 10 крайне медленный. Яндекс не учитывает Crawl-delay с 22 февраля 2018 года, вместо неё в Вебмастере есть настройка скорости обхода. Google эту директиву не поддерживает. Поэтому строка, которую когда-то поставили «чтобы роботы не грузили сервер», сегодня чаще всего просто замедляет Bing.

• Crawl-delay 10 и выше. Bing прямо предупреждает, что это сильно мешает обходу.
• Блокировка IP, у которых в обратном DNS стоит msnbot: это и есть робот Bing, а не чужой бот.
• Доверие строке user-agent без DNS-проверки: под msnbot и bingbot легко подделаться.

Старые группы в robots.txt, логи и доступ роботов проверяем во время технического аудита сайта. Работа с индексацией в разных поисковиках входит в SEO-продвижение.

Запреты, Crawl-delay и user-agent робота Bing

Источники

• Блог Bing для вебмастеров: Bing crawler: bingbot on the horizon (2010)
• Блог Bing для вебмастеров: How to Verify that Bingbot is Bingbot (2012)
• Блог Bing для вебмастеров: Crawl delay and the Bing crawler, MSNBot (2009)
• Справка Яндекс Вебмастера: директива Crawl-delay

См. также: Robots.txt, IndexNow, Google Search Console, Bing, AdsBot-Google.