О файле llms.txt за последний год написали, кажется, все. Мы решили не пересказывать чужие советы, а посмотреть, что лежит по этому адресу у живых компаний — и заодно разобраться, читает ли его кто-нибудь.
Что это за файл
Предложение появилось 3 сентября 2024 года, автор — Джереми Ховард. Идея простая: положить в корень ресурса короткий текст в разметке Markdown, из которого языковая модель за один заход понимает, чем занимается проект и куда идти за подробностями.
Спецификация описывает содержимое по пунктам:
Заголовок первого уровня с названием проекта или ресурса. Это единственный обязательный раздел.
llmstxt.org, редакция от 10 августа 2026 года (перевод наш)
Дальше по желанию: цитата-врезка с коротким описанием, несколько абзацев пояснений и разделы второго уровня со списками ссылок. Важная деталь, которую почти всегда упускают в пересказах, — ссылки должны вести на материалы, удобные модели, то есть на markdown-версии тех же страниц по адресу вида /page.md. Сам файл при этом остаётся маленьким: подробности лежат за ссылками и подгружаются, только когда понадобятся.
Отдельно авторы объясняют, почему это не замена привычным файлам:
robots.txt и llms.txt служат разным целям. robots.txt сообщает автоматическим средствам, какой доступ к ресурсу считается приемлемым. Информация из llms.txt используется по запросу, когда агенту нужны сведения по теме, пока он помогает пользователю.
llmstxt.org, редакция от 10 августа 2026 года (перевод наш)
Карта sitemap.xml тоже не годится на эту роль: в ней перечислены все адреса подряд, включая те, что модели не нужны, и целиком она в контекст не помещается.
Что нашлось в городе
22.09.2026 мы прошли 260 адресов компаний Екатеринбурга и запросили у каждого три файла: /llms.txt, /llms-full.txt и /ai.txt.
| Что запрашивали | Сколько ответило текстом |
|---|---|
/llms.txt | 11 |
/llms-full.txt | 0 |
/ai.txt | 0 |
Одиннадцать из двухсот шестидесяти — примерно четыре процента. Это не «половина рынка» и даже не заметная доля: девяносто шесть компаний из ста про этот файл либо не слышали, либо решили, что он им ни к чему.
Дальше мы прочитали все одиннадцать и сверили с требованиями спецификации.
| Требование спецификации | Выполнено |
|---|---|
| Заголовок первого уровня — единственный обязательный раздел | 7 из 11 |
| Цитата-врезка с коротким описанием | 4 из 11 |
| Хотя бы один раздел второго уровня | 11 из 11 |
| Хотя бы одна ссылка на markdown-версию материала | 0 из 11 |
Ссылка rel="describedby" с главной страницы | 0 из 11 |
Первая строка объясняется просто: четыре файла сгенерированы плагином All in One SEO, и он начинает не с названия, а со служебной подписи «Generated by All in One SEO». Формально это уже нарушение единственного обязательного пункта. У двух подпись вдобавок переведена машиной до потери смысла — файл открывается фразой «Этот файл llms.txt, созданный в результате сравнения All in One SEO и5.0.1.1».
А вот последние две строки таблицы важнее всех остальных. Ни один файл не ведёт на markdown-версии материалов — то есть ровно та часть замысла, ради которой всё и затевалось, не реализована нигде. И ни одна главная страница не сообщает о файле через rel="describedby", хотя спецификация предлагает именно такой способ: агент не обязан угадывать адрес, ему можно про него сказать.
Три файла, на которые стоит посмотреть отдельно
Дамп вместо оглавления. У установочного центра газового оборудования файл весит почти полмегабайта — 505 161 байт, и мы насчитали в нём 3623 ссылки. Это выгрузка всего ресурса целиком. Смысл затеи в обратном: короткий текст, помещающийся в контекст, и подробности за ссылками. Полкилобайта на ссылку модель прочитает, полмегабайта — не станет.
Инструкция вместо оглавления. У портала с открытыми программными интерфейсами по этому адресу лежит не оглавление, а готовая роль для ассистента: «Ты — ассистент для работы с Integration API…», дальше базовый адрес, формат ответа и запрет выдумывать данные. Документ полезный, но это системная подсказка, а не описание ресурса со ссылками, и по формату спецификации он не проходит: цитаты-врезки нет, ссылка всего одна.
Оглавление в никуда. У юридической компании в файле семнадцать ссылок, и мы запросили каждую: шесть отдают 404. Материалы переименовали или сняли, а оглавление для модели осталось прежним. Обычная карта сайта в такой ситуации обновляется сама, потому что её собирает движок; файл, написанный руками один раз, не обновляется никогда.
Два файла из одиннадцати не содержат ни одной ссылки вообще — только описание компании и перечисление услуг текстом. Это не оглавление, а рекламная страница в другом формате.
Кто его читает
Здесь начинается честная часть, которой обычно нет в статьях на эту тему.
Ни Яндекс, ни Google не заявляли, что учитывают llms.txt. Мы прочитали справку Яндекс Вебмастера целиком: в её оглавлении 272 страницы, и ни одна не посвящена этому файлу. Слова llms.txt нет ни в описании директив robots.txt, ни в разделах про индексирование.
При этом сам Яндекс файл публикует — для своей документации. По адресу yandex.ru/support/webmaster/ru/llms.txt лежит оглавление на 272 материала, рядом llms-full.txt на 3,1 мегабайта, а на каждой странице справки есть и markdown-версия, и та самая ссылка rel="describedby". То есть спецификация у Яндекса реализована целиком — но как у издателя документации, а не как совет владельцам сайтов.
Так же ведут себя и разработчики моделей. В редакции спецификации от августа 2026 года сказано:
Сами ИИ-лаборатории публикуют файлы llms.txt для собственной документации для разработчиков: OpenAI, Anthropic и Gemini.
llmstxt.org (перевод наш)
Публикуют — да. Обещания читать чужие файлы при этом нет ни у кого. Единственное подтверждённое движение в сторону чтения — проверка наличия файла в аудите Lighthouse, который встроен в браузер Chrome; это диагностика, а не гарантия, что содержимое будет использовано в ответе.
Картина получается такая: файл делают преимущественно те, кто выпускает документацию для программистов, и делают его для агентов, помогающих писать код. Для сайта автомойки или стоматологии история совсем другая — туда агент приходит не за справочником интерфейса.
Что при этом происходит в robots.txt
Мы разобрали 239 файлов robots.txt того же города и посчитали, сколько из них вообще называют ИИ-роботов по имени.
| Имя робота | В скольких файлах встретилось |
|---|---|
| GPTBot | 4 |
| ClaudeBot | 3 |
| PerplexityBot | 2 |
| Bytespider | 1 |
| Google-Extended | 1 |
Итого упоминания нашлись в пяти файлах из 239: примерно два процента. Причём Google-Extended управляет не обходом, а попаданием материалов в ответы модели, и строка User-agent: * его не заменяет — про это мы подробно писали в разборе ИИ-краулеров.
Вывод получается неожиданный для темы: владельцы чаще кладут файл для нейросетей, чем настраивают доступ нейросетям. Одиннадцать против пяти. Первое — модное и видимое, второе требует понимания, кто именно к вам ходит.
Наш собственный файл, честно
По адресу nexforce.ru/llms.txt лежит файл на 39 строк, написанный руками. Заголовок первого уровня есть, врезка с описанием есть, пять разделов второго уровня есть — в том числе раздел «Чего на сайте нет», где перечислено, каких материалов у нас не водится.
А теперь то, что мы сделали не по спецификации.
Разделы у нас содержат адреса простым текстом, а не ссылками в разметке Markdown. Спецификация требует именно ссылку: - [Название](адрес): пояснение. Парсер, написанный по правилам, наш список просто не увидит — для него разделы пусты. Проверка это и показала: ноль ссылок.
Markdown-версий материалов у нас нет: адрес вида /blog/index.md отдаёт 404. И rel="describedby" на главной тоже нет.
То есть файл у нас скорее декларативный, чем рабочий. Поправим то, что правится строкой разметки, — про markdown-версии всех материалов подумаем отдельно, это уже работа движка, а не одного файла.
Как сделать нормально за час
- Начать с заголовка первого уровня — название компании. Никаких служебных подписей перед ним.
- Следом врезка через
>— одно-два предложения о том, чем вы занимаетесь и для кого. - Разделы второго уровня: услуги, материалы, правовое. Внутри — списки ссылок именно в разметке Markdown, с коротким пояснением после двоеточия.
- Держать объём в пределах нескольких килобайт. Если получается больше сотни ссылок, значит, вы делаете карту сайта, а не оглавление.
- Проверить ссылки на живость. Файл, собранный руками, устаревает молча.
- По желанию добавить в разметку главной страницы
<link rel="describedby" href="/llms.txt">— это тот самый способ сообщить агенту, что файл есть. - Не путать с robots.txt. Если надо закрыть материалы от обучения моделей, это делается именно в robots.txt и именами конкретных роботов.
Границы замера
Мы смотрели один город и один день, набор — 260 адресов компаний Екатеринбурга, собранных по открытым справочникам. Файл запрашивался только в корне: спецификация разрешает класть его и на вложенных путях, например в разделе документации, и такие находки в наш обход не попали.
Живость ссылок мы проверяли выборочно — до тридцати адресов из каждого файла, всего 178. Тридцать из них ответили отказом 403 одному и тому же ресурсу с защитой от роботов: это отказ нашему обходу, а не обязательно сломанная ссылка, и в число битых мы их не записывали.
Главное ограничение другое: мы измерили сторону издателя, а не сторону читателя. Сколько моделей и агентов действительно запрашивают этот файл, по чужим сайтам со стороны не увидеть — для этого нужны журналы сервера. На своём мы такую проверку поставим и вернёмся с числами.
Коротко
Llms.txt — это оглавление ресурса для языковой модели: заголовок, короткое описание, списки ссылок. В обходе 260 адресов Екатеринбурга файл нашёлся у одиннадцати, и ни один из них не делает главного — не ведёт на markdown-версии материалов. Ни одна поисковая система не обещала этот файл учитывать, хотя Яндекс аккуратно публикует его для собственной документации. Делать имеет смысл: это час работы и ноль риска. Рассчитывать на него — нет.