robots.txt · llms.txtГенератор llms.txt
llms.txt — короткая карта сайта на Markdown для нейросетей. Соберём файл по спецификации и честно расскажем, кто его читает.
Ни одна крупная ИИ-компания официально не заявила, что читает llms.txt. Google прямо пишет, что такие файлы не нужны. Делайте, если это дёшево для вас.
Генератор
по спецификации llmstxt.orgПоложите файл в корень сайта. По желанию добавьте в <head> <link rel="describedby" href="/llms.txt">.
О llms.txt
Файл llms.txt предложил Джереми Ховард в сентябре 2024 года: в корне сайта лежит Markdown-документ с названием, кратким описанием и списками важных ссылок, чтобы модели быстрее находили главное. Его уже выкладывают Anthropic, Stripe, Cloudflare и Yandex Cloud. Но ни одна крупная ИИ-компания официально не заявила, что использует такие файлы.
Пример — llms.txt этого сайта: собран из каталога и обновляется с каждым релизом.
Формат
MarkdownРазделы
СсылкиOptional
ВторостепенноеГде лежит
Корень сайтаКто читает
Нет подтвержденийПозиция Google
Не нуженЧастые вопросы
Обновлено
Список ботов сверяется с документацией компаний раз в месяц. robots.txt — просьба, а не защита: надёжно закрыться можно только на сервере.