Google Indexing API

Google Indexing API – это программный интерфейс Google, через который сайт сам сообщает поисковику, что страница появилась, изменилась или удалена. Официально его можно использовать только для страниц с вакансиями (разметка JobPosting) и прямыми трансляциями (BroadcastEvent внутри VideoObject).

Зачем такие ограничения, понятно на примере. Вакансию открыли в понедельник, а в пятницу уже нашли человека. Трансляция идёт два часа. Если Googlebot придёт по своему обычному графику, в поиске повиснет закрытая вакансия или эфир, который давно кончился. API позволяет сказать роботу «зайди сейчас», и для короткоживущих страниц это имеет смысл.

В SEO-чатах API часто советуют как способ быстро загнать в индекс любые страницы: товары, статьи, теги. Google прямо пишет, что это не предназначение API, и такие попытки могут закончиться отзывом доступа.

Какие уведомления принимает API

Сайт отправляет POST-запрос с адресом страницы и типом уведомления. Типов два:

Обратите внимание на слово «может». Ответ 200 означает, что Google принял уведомление, а не что страница уже в индексе: решение о попадании в поисковый индекс Google принимает сам. URL_UPDATED имеет смысл только для страницы с разметкой JobPosting или BroadcastEvent. Ещё есть метод getMetadata: он показывает, когда Google в последний раз получил уведомление по конкретному адресу. До 100 запросов можно объединить в один пакетный запрос.

POST https://indexing.googleapis.com/v3/urlNotifications:publish
{
  "url": "https://site.ru/vacancy/menedzher-po-prodazham/",
  "type": "URL_UPDATED"
}

Подключение, квота и проверка ответов

1. Создайте проект в Google Cloud и включите в нём Indexing API.
2. Создайте сервисный аккаунт и скачайте JSON-ключ. Ключ храните на сервере, в репозиторий и в открытые папки сайта его не кладите.
3. Подтвердите права на сайт в Google Search Console и добавьте адрес сервисного аккаунта в список владельцев.
4. Получите OAuth-токен с областью доступа indexing и отправляйте запросы от имени сервисного аккаунта.
5. Привяжите отправку к событиям сайта: публикация, правка и снятие вакансии.

На момент написания по умолчанию проекту дают 200 уведомлений в сутки. Google называет эту квоту тестовой: для рабочего объёма нужно заполнить заявку и получить одобрение. В документации отдельно сказано, что квота может вырасти или уменьшиться в зависимости от качества документов. Заводить несколько проектов и аккаунтов ради лишних уведомлений не стоит: Google прямо называет это злоупотреблением. Сам API бесплатный.

Что всё работает, видно по трём признакам:

• API отвечает 200, а getMetadata показывает время последнего уведомления.
• В логах сервера после уведомления видно обращение Googlebot к этому адресу. Как читать логи, разберём в статье Лог-анализ.
• В Search Console инструмент проверки URL показывает свежую дату сканирования, а отчёт о расширенных результатах для вакансий не содержит ошибок разметки.

Уведомления о вакансиях на 1С-Битрикс и о трансляциях

Возьмём условный пример: у компании на 1С-Битрикс есть раздел «Карьера», в нём 40 вакансий в год. Каждая страница содержит разметку JobPosting с датой окончания в validThrough. Разработчик вешает обработчик на сохранение элемента инфоблока: опубликовали вакансию, ушёл URL_UPDATED. Сняли с публикации, страница отдаёт 404 и ушёл URL_DELETED. Даже для такого объёма рабочий доступ к API Google выдаёт по заявке.

У закрытой вакансии есть три законных варианта: поставить в validThrough прошедшую дату, удалить страницу с ответом 404 или 410, убрать с неё микроразметку JobPosting. После любого из них стоит отправить уведомление, чтобы Google быстрее увидел изменение.

С трансляциями логика похожая. Страницу с видео размечают BroadcastEvent, и Google советует отправлять уведомление в момент начала эфира, после его окончания, когда в разметке появилась дата завершения, и при любой другой правке разметки.

Indexing API, IndexNow и sitemap: что для каких страниц

Карточки товаров и статьи блога через Indexing API не отправляют: для них есть sitemap, перелинковка и ручной запрос в Search Console. Для Яндекса API ничего не делает. Там новые страницы быстрее находят через IndexNow, переобход в Вебмастере и быстробота.

Настройку уведомлений о вакансиях и проверку индексации мы делаем при техническом аудите и SEO-продвижении.

Квота, закрытые вакансии и интернет-магазины

Источники

• Google Search Central: Indexing API, разделы Quickstart, Using the API, Quota and pricing
• Google Search Central: структурированные данные для вакансий (JobPosting)