AdsBot-Google

AdsBot-Google – это робот Google, который проверяет посадочные страницы объявлений Google Ads: открываются ли они и соответствуют ли рекламе. Его мобильная версия называется AdsBot-Google-Mobile.

Обычно про него узнают из логов сервера: среди визитов Googlebot и роботов Яндекса появляются строки с AdsBot-Google, иногда пачкой по сотне запросов. Его принимают за новый поисковый робот, хотя он работает на рекламную систему и правила robots.txt читает по-своему.

Чем AdsBot отличается от Googlebot

Когда в Google Ads создают или меняют объявление, AdsBot открывает его посадочную страницу. Google требует, чтобы она была доступна для сканирования: так система проверяет, что человек после клика попадёт на страницу, которая относится к объявлению, и что она соответствует рекламным правилам. Робот заходит как компьютер (AdsBot-Google) и как смартфон (AdsBot-Google-Mobile).

Google относит AdsBot к «особым» роботам. Они работают по договорённости между сайтом и продуктом Google, поэтому общий блок User-agent: * в robots.txt на них не действует.

Почему запрет для всех роботов не останавливает AdsBot

Допустим, тестовая копия сайта закрыта так:

User-agent: *
Disallow: /

# AdsBot это правило не остановит.
# Для него нужна отдельная группа:
User-agent: AdsBot-Google
Disallow: /

User-agent: AdsBot-Google-Mobile
Disallow: /

Без последних двух групп AdsBot продолжит заходить на тестовый сайт, если на него ведут объявления. Обратная ситуация опаснее: если реклама идёт, а в robots.txt AdsBot закрыт по имени, объявления будут отклонены по правилу Destination not crawlable: целевая страница недоступна для сканирования.

Как отличить настоящий AdsBot от подделки в логах

В лог-файле настоящий AdsBot выглядит примерно так (запись условная):

"GET /uslugi/remont/?gclid=... HTTP/1.1" 200
"AdsBot-Google (+http://www.google.com/adsbot.html)"

Строку user-agent может подставить любой парсер, поэтому верить одному названию нельзя. Проверка такая:

1. Возьмите IP-адрес из лога и сделайте обратный DNS-запрос, например командой host.
2. У особых роботов Google имя хоста выглядит как rate-limited-proxy-…google.com.
3. Сделайте прямой DNS-запрос по этому имени и убедитесь, что он вернёт тот же IP.
4. Другой способ: сверить IP со списком диапазонов, который Google публикует в файле special-crawlers.json.

Если проверка не прошла, это не Google. Такой трафик можно ограничивать на уровне сервера, как любого постороннего бота. Банить по одному user-agent без проверки IP опасно: под запрет попадёт настоящий робот, а парсер с чужим именем пройдёт.

В марте 2022 года Google приостановил продажу рекламы в России. Если вы не рекламируетесь через Google Ads на зарубежные рынки, визитов AdsBot почти не будет, и частые запросы с этим user-agent первым делом проверяйте на подделку. Если же компания продвигает экспорт через Google Ads (раньше сервис назывался Google AdWords), правила из этой статьи обязательны.

Из-за чего AdsBot не может открыть посадочную страницу

• Защита от ботов. Если файрвол режет запросы с зарубежных IP или показывает проверку «я не робот», AdsBot получит 403 или страницу проверки вместо контента. Диапазоны из special-crawlers.json добавляют в белый список.
• Трекеры кликов. Google советует проверить их отдельно: лишние переадресации между объявлением и сайтом ограничивают сканирование.
• Недоступный robots.txt. Если файл отвечает с ошибкой или по таймауту, проверка тоже может не пройти.

Иногда AdsBot закрывают сами, чтобы разгрузить сервер. По документации Google, лимит нагрузки на сайт общий для всех его роботов, а потребность в сканировании у AdsBot выше, когда сайт использует динамические объявления. На больших сайтах активный AdsBot может отнимать часть краулингового бюджета, но при работающей рекламе запрет остановит объявления. Лучше ускорить ответы сервера и проверить, что посадочные страницы отдают 200, а не цепочки редиректов. Как сервер должен отвечать роботам, разобрано в статье Коды ответов сервера.

Логи, robots.txt и доступность страниц для роботов разбираем во время технического аудита сайта. Если нужен постоянный рост из поиска, подключаем SEO-продвижение.

Визиты без рекламы, тестовые копии и белый список для AdsBot

Источники

• Google Search Central: особые роботы Google (special-case crawlers)
• Google Search Central: проверка роботов Google
• Google Search Central: управление краулинговым бюджетом для крупных сайтов
• Справка Google Ads по рекламным правилам: Destination not crawlable

См. также: Robots.txt, Краулинговый бюджет, Коды ответов сервера, Лог-файл.