Хост

Хост – это любое устройство в сети, у которого есть свой адрес: сервер, компьютер, роутер. В веб-разработке и SEO хостом чаще называют имя сайта в адресе страницы, например shop.example.ru: по нему браузер находит сервер, а поисковик отличает один сайт от другого.

Слово встречается в трёх местах. Хостинг-провайдер говорит «хост» про сервер. Яндекс Вебмастер делит редиректы на внутрихостовые и межхостовые. А в старых файлах robots.txt до сих пор попадается директива Host. Термин один, роли разные, и путаница между ними приводит к дублям сайта и потерям при переездах.

Хост в адресе страницы

Разберём адрес на части (пример на условных данных):

https://shop.example.ru:8443/catalog/?sort=price

https            протокол
shop.example.ru  хост
8443             порт (обычно не пишут: 443 для HTTPS, 80 для HTTP)
/catalog/        путь
?sort=price      параметры

Хостом может быть доменное имя или IP-адрес. Для браузера и поисковика example.ru, www.example.ru и shop.example.ru считаются тремя разными хостами, даже если на них один и тот же сайт. Как устроены имена третьего уровня, рассказываем в статье Поддомен.

Как сервер понимает, какой сайт отдать

Браузер сначала через DNS узнаёт IP-адрес сервера. Но на одном IP часто работает много сайтов, так устроен обычный виртуальный хостинг. Чтобы сервер понял, какой из них нужен, браузер передаёт имя в заголовке Host:

GET /catalog/ HTTP/1.1
Host: shop.example.ru

Веб-сервер сверяет имя со своими настройками (в nginx это server_name, в Apache VirtualHost) и отдаёт нужный сайт. В HTTP/1.1 заголовок Host обязателен: запрос без него сервер должен отклонить с ошибкой 400. Если имя не совпало ни с одной настройкой, сервер откроет сайт по умолчанию, и по чужому адресу может показаться не тот проект.

Хост, домен и хостинг

Эти слова часто смешивают, хотя за ними разные вещи:

Сам домен example.ru тоже становится хостом, если на него настроен сайт. А один сервер хостинга обслуживает множество хостов разных владельцев.

Почему поисковик считает каждый хост отдельным сайтом

Поисковики считают каждый хост отдельным сайтом. Из этого следуют три правила.

• Адреса с www и без www, с http и с https считаются зеркалами. Главным выбирают один вариант, остальные отдают постраничный 301 редирект. Подробнее в статье Зеркало сайта.
• Robots.txt действует только для своего хоста. Google пишет, что правила файла относятся к хосту, протоколу и порту, где он лежит. Каждому поддомену нужен свой файл.
• Яндекс в справке отдельно разбирает редиректы внутри одного хоста (a.ru/ на a.ru/index.html) и между хостами (a.ru/ на www.a.ru/). Для поиска это разные ситуации.

Директива Host в robots.txt раньше подсказывала Яндексу главное зеркало. 20 марта 2018 года Яндекс объявил, что её заменил 301 редирект: директиву можно удалить, но со всех неглавных зеркал должен стоять постраничный 301. Если строка Host до сих пор есть в вашем robots.txt, это след старой настройки, и работу за неё должен делать редирект.

Тестовый хост и переезд

Отдельный хост удобен для разработки, но тестовую копию закрывают от индексации, иначе поисковик найдёт два одинаковых сайта. При переезде сети «Посуда Центр» на новый сайт мы вели все работы на тестовом домене, закрытом от индексации. Там сделали техническую оптимизацию, ускорили загрузку, добавили микроразметку и написали скрипт 301 редиректов со старых адресов товаров на новые. До переезда сайт получал около 300 000 уникальных посетителей из поисковых систем в месяц, после переезда сохранил позиции и органический трафик. Подробности в кейсе «Посуда Центр» и в статье SEO-переезд сайта.

Откуда у сайта берутся копии на лишних хостах

• Сайт открывается и с www, и без, оба варианта отвечают 200. Получаются полные дубли.
• Тестовая копия на поддомене открыта для роботов и попадает в индекс.
• Главное зеркало задано только директивой Host, без редиректа.
• Сайт доступен по IP-адресу сервера и отвечает 200. Это ещё один хост с копией сайта.

Как проверить хосты сайта

1. Откройте все варианты адреса: с www и без, по http и по https. Каждый неглавный должен отвечать 301 на главный хост с тем же путём.
2. Проверьте ответ через curl: браузер может подставить результат из кэша.
3. Поищите в выдаче технические хосты: test., dev., старые зеркала.
4. Добавьте главный хост в Яндекс Вебмастер и Google Search Console и убедитесь, что в поиске участвует он.

curl -I http://www.example.ru/catalog/
HTTP/1.1 301 Moved Permanently
Location: https://example.ru/catalog/

Главный хост, поддомены, IP и localhost

Зеркала, robots.txt на поддоменах и тестовые хосты проверяем на техническом аудите сайта. Переезды на новый домен и новый сайт сопровождаем в SEO-продвижении.

Источники

• RFC 9110 и RFC 9112: семантика и синтаксис HTTP, заголовок Host
• Справка Яндекс Вебмастера: обработка перенаправлений, переезд сайта
• Блог Яндекс Вебмастера: «301-й редирект полностью заменил директиву Host», 2018
• Google Search Central: как Google интерпретирует спецификацию robots.txt
• Кейс E.BAEV: «Посуда Центр»

См. также: Хостинг, Robots.txt, 301 редирект, SEO-переезд сайта.