Самый надёжный способ закрыть весь сайт, например тестовую копию, это пароль на уровне сервера: робот не увидит страницы вообще. Для рабочего сайта используют строку Disallow: / в robots.txt или метатег robots с noindex на всех страницах. Учтите: страница, закрытая только в robots.txt, может остаться в поиске, если на неё ссылаются.
Три способа закрыть сайт
- Пароль. Закройте сайт авторизацией на сервере. Робот получит код 401 или 403 и не увидит содержимое. Лучший вариант для тестового домена и копии сайта для разработки.
- Robots.txt. Строки «User-agent: *» и «Disallow: /» запрещают обход всего сайта. Это просьба к роботам, а не защита.
- Метатег noindex. В head каждой страницы ставят meta name="robots" content="noindex". Для файлов PDF и картинок то же делает HTTP-заголовок X-Robots-Tag.
Почему нельзя сочетать Disallow и noindex
Если страница закрыта в robots.txt, робот её не обходит и не видит метатег noindex. Google прямо пишет: robots.txt не способ убрать страницу из поиска, закрытый адрес может попасть в индекс по ссылкам. Яндекс тоже предупреждает, что такая страница может показаться в поиске.
Поэтому, если сайт уже в поиске и его нужно убрать, сначала ставят noindex и дают роботу обойти страницы. Только потом при желании закрывают обход.
Как ускорить удаление из поиска
В Яндекс Вебмастере есть инструмент «Удаление страниц из поиска». Для подтверждённого сайта можно удалить до 500 адресов и до 20 префиксов в сутки. В Google Search Console инструмент «Удаления» скрывает адреса примерно на полгода.
Частая ошибка
Сайт закрыли на время разработки и забыли открыть после запуска. Перед стартом проверьте robots.txt, метатеги в шаблоне и настройку «закрыть от индексации» в CMS. На Тильде это галочка в настройках сайта.
Подробно о директивах в статье про robots.txt.
Источники
Похожие вопросы
Сайт есть, а заявок из поиска нет?
Проверим индексацию и техническое состояние сайта бесплатно и пришлём план работ.