Для поисковых роботов давно есть robots.txt и sitemap.xml. С появлением ChatGPT, Claude, Perplexity и других ассистентов возник вопрос: как объяснить сайт языковой модели, которая читает его не ради индекса, а чтобы ответить пользователю? Одним из ответов стал формат llms.txt. Он пока не стандарт, но о нём спрашивают всё чаще.
Как устроен файл
Это Markdown-файл по адресу site.ru/llms.txt:
# E.BAEV > Digital-агентство: SEO, контекстная реклама, разработка сайтов на 1С-Битрикс и Аспро, внедрение CRM. ## Услуги - [SEO-продвижение](https://ebaev.ru/services/seo-prodvizhenie-saytov/): продвижение в Яндексе и Google - [Технический аудит](https://ebaev.ru/services/tekhnicheskiy-audit-sayta/) ## Wiki - [SEO](https://ebaev.ru/wiki/prodvizhenie-saytov/seo/): что такое поисковое продвижение
Иногда рядом кладут llms-full.txt с полным текстом основных материалов, чтобы модель могла прочитать их одним файлом.
llms.txt, robots.txt и sitemap.xml
| Файл | Для кого | Задача | Статус |
|---|---|---|---|
| robots.txt | Поисковые и другие роботы | Что можно сканировать | Стандарт (RFC 9309) |
| sitemap.xml | Поисковые роботы | Полный список страниц | Стандарт |
| llms.txt | Языковые модели и ИИ-агенты | Краткая карта сайта и главного контента | Предложение, поддержка ограничена |
Стоит ли делать
Наша позиция: файл полезен, но не срочен. Он делается за час, ничего не ломает и может пригодиться ИИ-агентам и инструментам разработчиков, которые уже умеют его читать. Приоритет у него ниже, чем у того, что точно работает для нейросетевых ответов: полезный контент, понятная структура, факты, микроразметка и упоминания бренда. Подробнее: в статье GEO.
Если решили сделать
- Опишите компанию в одном-двух предложениях: кто вы и что делаете.
- Перечислите главные разделы: услуги, кейсы, справочные материалы, контакты, со ссылками и короткими пояснениями.
- Включайте только актуальные страницы с ответом 200.
- Обновляйте файл при изменении структуры сайта.
ИИ-роботы и robots.txt
Отдельный вопрос: разрешать ли ИИ-компаниям сканировать сайт. У многих из них есть собственные роботы с понятными именами: GPTBot, ClaudeBot, PerplexityBot, Google-Extended (управляет использованием контента в ИИ-моделях Google). Их можно разрешить или запретить в robots.txt отдельно от поисковых роботов. Для коммерческого сайта, который хочет, чтобы его упоминали в ответах нейросетей, запрещать их обычно невыгодно. Для издателя с платным контентом решение может быть другим.
Пример llms.txt для сайта услуг
Для небольшого сайта файл может выглядеть так: название компании и одна строка о ней; раздел «Услуги» со ссылками на 5–10 основных страниц и пояснением в одну фразу; раздел «Кейсы» со ссылками на лучшие проекты и главным результатом в скобках; раздел «Справочные материалы» со ссылкой на wiki или блог; раздел «Контакты». Всё это занимает меньше страницы и собирается за 20–30 минут из того, что уже есть на сайте. Главное: держать ссылки актуальными.
Частые вопросы
«Нужно ли прописывать llms.txt в robots.txt?»: Нет, файл просто лежит в корне сайта. «Можно ли положить туда весь сайт?»: Для основного файла лучше краткую карту, а полный текст, в отдельный llms-full.txt, если это имеет смысл. «Поможет ли файл попасть в ответы Нейро?»: Яндекс не заявлял о его использовании, поэтому рассчитывать на это не стоит.
Вопросы про llms.txt
Можно ли через llms.txt запретить ИИ обучаться на сайте?
Где разместить файл?
Навредит ли файл SEO?
Подготовку сайта к нейросетевому поиску включаем в SEO-продвижение; технические файлы проверяем в техническом аудите.
Источники
- llmstxt.org: описание предложенного формата, 2024
- Google Search Central: «AI features and your website»
- RFC 9309 «Robots Exclusion Protocol»
См. также: GEO, Robots.txt, Sitemap.xml.
