robots.txt · llms.txtГенератор llms.txt

llms.txt — короткая карта сайта на Markdown для нейросетей. Соберём файл по спецификации и честно расскажем, кто его читает.

Ни одна крупная ИИ-компания официально не заявила, что читает llms.txt. Google прямо пишет, что такие файлы не нужны. Делайте, если это дёшево для вас.

Файл собирается в браузере — ни правила, ни адреса не уходят на сервер
01Генератор02О llms.txt03Вопросы04Похожие
01

Генератор

по спецификации llmstxt.org
##
##Optional модель может пропустить
Файл · /llms.txt
# bringer.ru

> Браузерные утилиты для текста, кода и данных: всё работает на устройстве, ничего не уходит на сервер.

Инструменты бесплатны и без регистрации. Каждая страница — один инструмент с описанием и частыми вопросами.

## Инструменты

- [Очистка текста после нейросети](https://bringer.ru/tools/ai-text-cleaner): невидимые символы, разметка, гомоглифы
- [Счётчик токенов](https://bringer.ru/tools/token-counter): o200k, cl100k и открытые модели
- [Генератор robots.txt](https://bringer.ru/tools/robots-txt): ИИ-боты по классам и Яндекс

## Optional

- [История изменений](/changelog)
Как его прочитает модель

bringer.ru

Браузерные утилиты для текста, кода и данных: всё работает на устройстве, ничего не уходит на сервер.

Инструменты бесплатны и без регистрации. Каждая страница — один инструмент с описанием и частыми вопросами.

Инструменты

Optional

Положите файл в корень сайта. По желанию добавьте в <head> <link rel="describedby" href="/llms.txt">.

02

О llms.txt

Файл llms.txt предложил Джереми Ховард в сентябре 2024 года: в корне сайта лежит Markdown-документ с названием, кратким описанием и списками важных ссылок, чтобы модели быстрее находили главное. Его уже выкладывают Anthropic, Stripe, Cloudflare и Yandex Cloud. Но ни одна крупная ИИ-компания официально не заявила, что использует такие файлы.

Пример — llms.txt этого сайта: собран из каталога и обновляется с каждым релизом.

Формат

Markdown
# Название
Обязателен только заголовок первого уровня. Дальше — цитата с описанием, абзацы и разделы со списками ссылок.

Разделы

Ссылки
- [Имя](url): заметка
Каждый раздел второго уровня — список ссылок с короткими пояснениями.

Optional

Второстепенное
## Optional
Ссылки из этого раздела модель может пропустить, если ей не хватает места в контексте.

Где лежит

Корень сайта
/llms.txt
Файл кладут в корень сайта или в раздел, например /docs/llms.txt.

Кто читает

Нет подтверждений
?
Официально использование llms.txt не подтвердил никто из крупных разработчиков моделей.

Позиция Google

Не нужен
no AI text files
Google пишет, что для ИИ-функций поиска не нужно создавать специальные машиночитаемые файлы.
03

Частые вопросы

Файл в формате Markdown в корне сайта с кратким описанием и списком важных страниц. Его придумали, чтобы языковым моделям было проще разобраться в сайте: не обходить все страницы, а сразу увидеть главное. Формат предложил Джереми Ховард в сентябре 2024 года, спецификация опубликована на llmstxt.org.

Обновлено

Список ботов сверяется с документацией компаний раз в месяц. robots.txt — просьба, а не защита: надёжно закрыться можно только на сервере.

«» добавлен в избранное