bringer.ru
ruen

robots.txt · ИИ-ботыКак запретить ИИ-ботов в robots.txt

Список ИИ-ботов с назначением и ссылками на документацию компаний: кто учит модели, кто приводит читателей из ИИ-поиска и кто может проигнорировать ваш запрет.

Файл собирается в браузере — ни правила, ни адреса не уходят на сервер
01Генератор02Список ботов03О списке04Вопросы05Похожие
01

Генератор

Базовые правила

Clean-param для Яндекса · параметры · путь
Пресеты

Боты запросов пользователей часто не соблюдают robots.txt: надёжно закрыться от них можно только на сервере.

Обучение моделей

GPTBot, ClaudeBot, Google-Extended, CCBot…

Запрет не влияет на поиск и на ответы со ссылками.

GPTBot
OpenAI
соблюдает robots.txtдокументация
ClaudeBot
Anthropic
соблюдает robots.txtдокументация
Google-Extended · токен
Google
соблюдает robots.txtдокументация
Applebot-Extended · токен
Apple
соблюдает robots.txtдокументация
CCBot
Common Crawl
соблюдает robots.txtдокументация
Meta-ExternalAgent
Meta
соблюдает robots.txtдокументация
Amazonbot
Amazon
соблюдает robots.txtдокументация
MistralAI-Training
Mistral
соблюдает robots.txtдокументация
Bytespider
ByteDance
нет документации
cohere-training-data-crawler
Cohere
нет документации
Timpibot
Timpi
нет документации

ИИ-поиск и цитирование

OAI-SearchBot, Claude-SearchBot, PerplexityBot, YandexAdditional…

Запрет убирает сайт из ответов со ссылками — это потеря трафика.

Запросы пользователей

ChatGPT-User, Claude-User, Perplexity-User…

Многие из них могут игнорировать robots.txt; надёжно — только на сервере.

robots.txt · 46 строк
User-agent: *
Disallow: /admin/
Disallow: /search
# ИИ: обучение моделей — запрещено
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: Bytespider
User-agent: cohere-training-data-crawler
User-agent: Timpibot
Disallow: /
# ИИ: поиск и цитирование — запрещено
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: MistralAI-Index
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /
# ИИ: запросы пользователей — запрещено
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: Meta-ExternalFetcher
User-agent: Amzn-User
User-agent: MistralAI-User
User-agent: Google-Agent
Disallow: /
# Яндекс: ответы Нейро и Алисы — запрещено
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Disallow: /
Clean-param: utm_source&utm_medium&utm_campaign /
Sitemap: https://example.ru/sitemap.xml

Чего robots.txt не умеет

AI Overviews Google и чат Bing работают через обычных поисковых роботов — их ограничивают метатегами в <head>.

AI Overviews и AI Mode Google
<meta name="robots" content="nosnippet"> или max-snippet:0
Ответы в чате Bing
<meta name="robots" content="noarchive, nocache">
02

Список ИИ-ботов

по официальной документации компаний
КомпанияUser-agentКлассСоблюдаетПровереноДокументация
OpenAIGPTBotОбучениесоблюдает robots.txt10.10.2026Открыть
AnthropicClaudeBotОбучениесоблюдает robots.txt10.10.2026Открыть
GoogleGoogle-Extended
токен, не отдельный робот
Обучениесоблюдает robots.txt10.10.2026Открыть
AppleApplebot-Extended
токен, не отдельный робот
Обучениесоблюдает robots.txt10.10.2026Открыть
Common CrawlCCBotОбучениесоблюдает robots.txt10.10.2026Открыть
MetaMeta-ExternalAgentОбучениесоблюдает robots.txt10.10.2026Открыть
AmazonAmazonbotОбучениесоблюдает robots.txt10.10.2026Открыть
MistralMistralAI-TrainingОбучениесоблюдает robots.txt10.10.2026Открыть
ByteDanceBytespiderОбучениенет документации10.10.2026нет
Coherecohere-training-data-crawlerОбучениенет документации10.10.2026нет
TimpiTimpibotОбучениенет документации10.10.2026нет
OpenAIOAI-SearchBotИИ-поисксоблюдает robots.txt10.10.2026Открыть
AnthropicClaude-SearchBotИИ-поисксоблюдает robots.txt10.10.2026Открыть
PerplexityPerplexityBotИИ-поисксоблюдает robots.txt10.10.2026Открыть
DuckDuckGoDuckAssistBotИИ-поисксоблюдает robots.txt10.10.2026Открыть
MistralMistralAI-IndexИИ-поискнет документации10.10.2026Открыть
AmazonAmzn-SearchBotИИ-поисксоблюдает robots.txt10.10.2026Открыть
Metameta-webindexerИИ-поисксоблюдает robots.txt10.10.2026Открыть
ЯндексYandexAdditional
только по имени, «*» не читает
ИИ-поисксоблюдает robots.txt10.10.2026Открыть
ЯндексYandexAdditionalBot
только по имени, «*» не читает
ИИ-поисксоблюдает robots.txt10.10.2026Открыть
OpenAIChatGPT-UserЗапросы пользователейможет не соблюдать10.10.2026Открыть
AnthropicClaude-UserЗапросы пользователейсоблюдает robots.txt10.10.2026Открыть
PerplexityPerplexity-UserЗапросы пользователейможет не соблюдать10.10.2026Открыть
MetaMeta-ExternalFetcherЗапросы пользователейможет не соблюдать10.10.2026Открыть
AmazonAmzn-UserЗапросы пользователейможет не соблюдать10.10.2026Открыть
MistralMistralAI-UserЗапросы пользователейнет документации10.10.2026Открыть
GoogleGoogle-AgentЗапросы пользователейможет не соблюдать10.10.2026Открыть
03

О списке

Каждая ИИ-компания называет своих роботов по-своему и публикует правила обхода. Мы собрали их в одну таблицу и для каждого указали, что он делает и как относится к robots.txt — по официальной документации. Где документации нет, так и написано; у каждой записи стоит дата проверки.

OpenAI

Три бота
GPTBot
GPTBot учит модели, OAI-SearchBot приводит сайт в поиск ChatGPT, ChatGPT-User открывает страницы по просьбе пользователя и, по документации OpenAI, может не соблюдать robots.txt.

Anthropic

Три бота
ClaudeBot
ClaudeBot учит модели, Claude-SearchBot отвечает за поиск, Claude-User — за запросы пользователей. По документации все трое соблюдают robots.txt.

Google

Токен
Google-Extended
Отдельного ИИ-робота нет: Google-Extended — флаг для обучения и опоры на источники в Gemini и Vertex AI. AI Overviews управляются метатегами nosnippet и max-snippet.

Perplexity

Поиск
PerplexityBot
Поисковый бот компании. В 2025 году Cloudflare сообщила, что Perplexity обходил запреты скрытыми роботами.

Яндекс

Нейро и Алиса
YandexAdditional
Отвечает за показ сайта в генеративных ответах. Работает только при явном указании по имени.

Bing

Метатеги
noarchive
Отдельного ИИ-бота у Microsoft нет. Показ в чате Bing ограничивают метатеги nocache и noarchive.
04

Частые вопросы

Основные: GPTBot, OAI-SearchBot и ChatGPT-User у OpenAI; ClaudeBot, Claude-SearchBot и Claude-User у Anthropic; Google-Extended у Google; PerplexityBot; Applebot-Extended; Meta-ExternalAgent; CCBot; YandexAdditional у Яндекса. Полная таблица — выше: у каждого бота указаны компания, класс, отношение к robots.txt, ссылка на документацию и дата проверки.
bot

Генератор robots.txt

ИИ-боты по классам и Яндекс
llms

Генератор llms.txt

Карта сайта для нейросетей
200

Коды ответа HTTP

Справочник кодов ответа
tok

Счётчик токенов

Сколько текст займёт в нейросети

Обновлено

Список ботов сверяется с документацией компаний раз в месяц. robots.txt — просьба, а не защита: надёжно закрыться можно только на сервере.

«» добавлен в избранное