Все инструменты

Генератор robots.txt для ИИ-ботов: разрешить или запретить GPTBot и ClaudeBot

Решите, каких ИИ-ботов пускать на сайт. Например, разрешить поиск (чтобы вас цитировали) и запретить обучение моделей на ваших материалах.

ИИ-ботНазначениеДоступ
GPTBot
OpenAI
 обучение моделей
OAI-SearchBot
OpenAI
 поиск ChatGPT
ChatGPT-User
OpenAI
 действия по запросу пользователя
ClaudeBot
Anthropic
 обучение моделей
Claude-SearchBot
Anthropic
 поиск Claude
Claude-User
Anthropic
 действия по запросу пользователя
PerplexityBot
Perplexity
 поиск Perplexity
Perplexity-User
Perplexity
 действия по запросу пользователя
Google-Extended
Google
 управление использованием в Gemini
Applebot-Extended
Apple
 обучение моделей Apple
CCBot
Common Crawl
 открытый датасет для обучения
Bytespider
ByteDance
 обучение моделей
Meta-ExternalAgent
Meta
 обучение моделей
YandexAdditional
Яндекс
 робот Яндекса для генеративных ответов
Правила для robots.txt 
# Выберите ботов слева

Добавьте этот блок в файл robots.txt в корне сайта, не удаляя существующие правила. Если у бота уже есть своя секция, объедините их. robots.txt — просьба, а не защита: добросовестные боты ему следуют, но жёсткую блокировку нужно настраивать на сервере.

Назначение ботов указано по документации их владельцев и может меняться. Для робота Яндекса уточняйте актуальную информацию в справке Яндекса. Проверить, как сайт отвечает ботам сейчас, можно в проверке доступа ИИ-ботов.

Какие ИИ-боты существуют и чем они отличаются

У каждой компании-разработчика ИИ обычно несколько ботов. Одни собирают данные для обучения моделей, другие нужны для поиска и ответов с цитатами, третьи работают по запросу конкретного пользователя. Правила можно задавать для каждого отдельно.

  • Обучение: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Bytespider (ByteDance).
  • Поиск: OAI-SearchBot (ChatGPT), PerplexityBot, Claude-SearchBot.
  • По запросу пользователя: ChatGPT-User, Claude-User, Perplexity-User.
  • Управление использованием материалов: Google-Extended, Applebot-Extended.

Как пользоваться конструктором

  1. Выберите готовый вариант или настройте каждого бота: разрешить, запретить или не указывать.
  2. Скопируйте получившийся блок правил.
  3. Добавьте его в файл robots.txt в корне сайта, не удаляя существующие правила.
  4. Проверьте результат в проверке доступа ИИ-ботов.

Какую стратегию выбрать

Если цель — попасть в ответы нейросетей, пускайте поисковых ботов. Если вы не хотите, чтобы материалы использовались для обучения моделей, запретите ботов обучения. Если нужна полная закрытость, запретите всех, но помните, что тогда сайт не будет цитироваться. robots.txt — это договорённость, а не техническая защита: для жёсткой блокировки нужны правила на сервере.

Другие бесплатные инструменты

Вопросы и ответы

Боты для обучения (GPTBot, ClaudeBot, CCBot, Bytespider) собирают данные для тренировки моделей. Боты для поиска (OAI-SearchBot, PerplexityBot, Claude-SearchBot) нужны, чтобы нейросеть могла найти вашу страницу и процитировать её в ответе. Многие владельцы сайтов пускают поиск и запрещают обучение.

Нет. Это договорённость: добросовестные боты ей следуют, остальные могут игнорировать. Для жёсткой блокировки нужны правила на уровне сервера или защиты сайта.

Это директива, с помощью которой владелец сайта управляет использованием своих материалов в генеративных продуктах Google, не влияя на обычную поисковую индексацию. Актуальные подробности смотрите в документации Google.

Нет. Достаточно указать тех, для кого хотите отличное от общего правило. Если ничего не указано, действует общая секция User-agent: *.

После размещения проверьте файл по адресу ваш-сайт/robots.txt, затем запустите проверку доступа ИИ-ботов: она покажет, что видит каждый бот.