llms.txt

Для поисковых роботов давно есть robots.txt и sitemap.xml. С появлением ChatGPT, Claude, Perplexity и других ассистентов возник вопрос: как объяснить сайт языковой модели, которая читает его не ради индекса, а чтобы ответить пользователю? Одним из ответов стал формат llms.txt. Он пока не стандарт, но о нём спрашивают всё чаще.

Как устроен файл

Это Markdown-файл по адресу site.ru/llms.txt:

# E.BAEV
> Digital-агентство: SEO, контекстная реклама, разработка сайтов на 1С-Битрикс и Аспро, внедрение CRM.

## Услуги
- [SEO-продвижение](https://ebaev.ru/services/seo-prodvizhenie-saytov/): продвижение в Яндексе и Google
- [Технический аудит](https://ebaev.ru/services/tekhnicheskiy-audit-sayta/)

## Wiki
- [SEO](https://ebaev.ru/wiki/prodvizhenie-saytov/seo/): что такое поисковое продвижение

Иногда рядом кладут llms-full.txt с полным текстом основных материалов, чтобы модель могла прочитать их одним файлом.

llms.txt, robots.txt и sitemap.xml

Стоит ли делать

Наша позиция: файл полезен, но не срочен. Он делается за час, ничего не ломает и может пригодиться ИИ-агентам и инструментам разработчиков, которые уже умеют его читать. Приоритет у него ниже, чем у того, что точно работает для нейросетевых ответов: полезный контент, понятная структура, факты, микроразметка и упоминания бренда. Подробнее: в статье GEO.

Если решили сделать

1. Опишите компанию в одном-двух предложениях: кто вы и что делаете.
2. Перечислите главные разделы: услуги, кейсы, справочные материалы, контакты, со ссылками и короткими пояснениями.
3. Включайте только актуальные страницы с ответом 200.
4. Обновляйте файл при изменении структуры сайта.

ИИ-роботы и robots.txt

Отдельный вопрос: разрешать ли ИИ-компаниям сканировать сайт. У многих из них есть собственные роботы с понятными именами: GPTBot, ClaudeBot, PerplexityBot, Google-Extended (управляет использованием контента в ИИ-моделях Google). Их можно разрешить или запретить в robots.txt отдельно от поисковых роботов. Для коммерческого сайта, который хочет, чтобы его упоминали в ответах нейросетей, запрещать их обычно невыгодно. Для издателя с платным контентом решение может быть другим.

Пример llms.txt для сайта услуг

Для небольшого сайта файл может выглядеть так: название компании и одна строка о ней; раздел «Услуги» со ссылками на 5–10 основных страниц и пояснением в одну фразу; раздел «Кейсы» со ссылками на лучшие проекты и главным результатом в скобках; раздел «Справочные материалы» со ссылкой на wiki или блог; раздел «Контакты». Всё это занимает меньше страницы и собирается за 20–30 минут из того, что уже есть на сайте. Главное: держать ссылки актуальными.

Частые вопросы

«Нужно ли прописывать llms.txt в robots.txt?»: Нет, файл просто лежит в корне сайта. «Можно ли положить туда весь сайт?»: Для основного файла лучше краткую карту, а полный текст, в отдельный llms-full.txt, если это имеет смысл. «Поможет ли файл попасть в ответы Нейро?»: Яндекс не заявлял о его использовании, поэтому рассчитывать на это не стоит.

Вопросы про llms.txt

Проверить, видят ли нейросети ваш сайт и нужен ли ему llms.txt, можно на GEO-аудите сайта. Технические файлы вроде robots.txt и sitemap.xml смотрим в техническом аудите.

Источники

• llmstxt.org: описание предложенного формата, 2024
• Google Search Central: «AI features and your website»
• RFC 9309 «Robots Exclusion Protocol»

См. также: GEO, Robots.txt, Sitemap.xml.