Коды ответов сервера

Каждый раз, когда робот Яндекса приходит на страницу, первым делом он получает не текст, а короткий ответ: три цифры. От них зависит, что будет дальше: робот прочитает страницу, пойдёт по новому адресу, удалит страницу из индекса или придёт позже. Ошибка в этих трёх цифрах может стоить трафика, даже если сама страница отлично выглядит.

Пять классов кодов

Что важно для SEO

• Все продвигаемые страницы отдают 200.
• Несуществующие страницы отдают 404 или 410, а не 200 с текстом «страница не найдена». Такая «мягкая 404» засоряет индекс.
• В sitemap.xml только адреса с ответом 200.
• Сервер поддерживает 304 Not Modified: робот не скачивает неизменившиеся страницы и тратит краулинговый бюджет на новые.
• 5xx появляются редко и ненадолго. На время техработ отдавайте 503 с заголовком Retry-After.

Как проверить код страницы

• Яндекс Вебмастер: «Инструменты → Проверка ответа сервера».
• Консоль браузера: вкладка Network, колонка Status.
• Краулер: для всего сайта сразу.
• Командная строка: curl -I https://site.ru/page/.

Что мы находим на аудитах

Самые частые находки: 404-страницы в sitemap, внутренние ссылки на адреса с 301, мягкие 404 в каталогах, где удалённый товар отдаёт 200 с пустой карточкой, и нестабильные ответы сервера под нагрузкой. На одном из недавних аудитов краулер прошёл 574 адреса: 419 отдали 200, 15 отдали 301, а в sitemap нашлись пять несуществующих страниц.

Какая 404-страница правильная

Страница ошибки должна отдавать код 404 и при этом помогать человеку: сообщение, что страницы нет, поиск по сайту, ссылки на главные разделы и контакты. Так посетитель не уходит, а продолжает искать на вашем сайте. Отдельная статья об этом: Ошибка 404.

Проверьте свою: введите в адресной строке несуществующий адрес и посмотрите код ответа в Вебмастере.

Мягкая 404 часто встречается в интернет-магазинах: снятый с продажи товар открывается с кодом 200 и пустой карточкой. Для такого товара лучше показывать похожие позиции и оставить страницу живой, если на неё есть спрос, или отдавать 404 или 301 на категорию, если нет.

Коды ответов и техработы

Если сайт нужно закрыть на обслуживание, правильный ответ, 503 Service Unavailable с заголовком Retry-After, где указано, через сколько вернуться. Робот поймёт, что это временно, и не будет исключать страницы. Типичная ошибка: показывать заглушку «Сайт на обслуживании» с кодом 200. Для поисковика все страницы вдруг стали одинаковыми и пустыми. Если техработы длятся часами или днями, это может ударить по индексации.

Так же важно, чтобы при сбоях базы данных CMS отдавала 5xx, а не 200 с текстом ошибки. Проверьте это заранее: отключите базу на тестовой копии и посмотрите, какой код получит робот.

Частые ошибки

• Страница 404 отдаёт код 200.
• Удалённые товары отдают 500 из-за ошибки в шаблоне.
• Защита от ботов отвечает поисковым роботам кодом 403 или 429.
• В sitemap остаются адреса с 301 и 404.

Вопросы про коды ответов

Коды ответов проверяем в техническом аудите, ошибки сервера разбираем в техподдержке.

Источники

• RFC 9110 «HTTP Semantics», раздел 15 (Status Codes)
• Google Search Central: «Как коды статуса HTTP, сетевые ошибки и ошибки DNS влияют на Google Поиск»
• Яндекс Справка для вебмастера: «Ответы сервера»

См. также: 301 редирект, Ошибка 404, Технический аудит.