Какие роботы нейросетей обходят сайты, готовые примеры robots.txt (открыть всё или закрыть только обучение) и ошибки, из-за которых сайт пропадает из ответов.
robots.txt для AI-ботов решает, какие нейросети смогут читать ваш сайт и цитировать его в ответах. Главные роботы в 2026 году: YandexAdditional (Алиса AI в поиске Яндекса), GPTBot и OAI-SearchBot (ChatGPT), ClaudeBot (Claude), PerplexityBot (Perplexity). Если бизнесу нужны клиенты из нейросетей, их стоит пускать. Ниже — список ботов, готовые примеры и частые ошибки.
Какие AI-боты бывают
| Бот | Чей | Для чего |
|---|---|---|
| YandexAdditional | Яндекс | Материалы для нейроответов Алисы AI в поиске |
| OAI-SearchBot | OpenAI | Поиск в ChatGPT |
| ChatGPT-User | OpenAI | Открывает страницу по просьбе пользователя |
| GPTBot | OpenAI | Сбор данных для обучения моделей |
| ClaudeBot | Anthropic | Сбор данных для Claude |
| PerplexityBot | Perplexity | Поиск и ответы Perplexity |
| Google-Extended | Не отдельный робот, а метка: разрешает или запрещает использовать сайт в Gemini |
Важное различие у OpenAI: GPTBot собирает данные для обучения, а OAI-SearchBot — для поиска в ChatGPT. Можно закрыть обучение и оставить поиск.
Пример: открыть сайт для нейросетей
User-agent: YandexAdditional
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Disallow: /admin/
Disallow: /cart/
Пример: закрыть обучение, оставить поиск
Если вы не хотите, чтобы тексты сайта шли в обучение моделей, но хотите попадать в ответы:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: YandexAdditional
Allow: /
Частые ошибки
Блок бота перекрывает общий
Если для бота есть своя группа User-agent, правила из User-agent: * к нему уже не применяются. Частая ошибка: в общей группе закрыта админка, а в группе для GPTBot написано только Allow: / — и админка для него открыта. Повторяйте важные запреты в каждой группе.
Случайный запрет всего сайта
Disallow: / в группе бота закрывает весь сайт. Такие строки иногда добавляют плагины безопасности или разработчики «на всякий случай».
Блокировка на уровне сервера
robots.txt — это просьба, а не замок. Но бывает и обратное: robots.txt всё разрешает, а защита от ботов на сервере отдаёт AI-роботам ошибку 403. Снаружи сайт открывается нормально, и проблему годами не замечают.
Группа Yandex не равна YandexAdditional
Правила для User-agent: Yandex не относятся к YandexAdditional — это отдельный робот со своим именем.
Как проверить
- Откройте
ваш-сайт.ru/robots.txtи найдите имена ботов из таблицы. - Запустите бесплатную проверку: она прочитает robots.txt по правилам стандарта и проверит реальный ответ сервера каждому из 8 ботов.
- Включите регулярный контроль: в НейроРанке автопроверка сайта раз в неделю присылает уведомление, если какой-то бот оказался закрыт.
Частые вопросы
Нужно ли закрывать GPTBot?
Если тексты сайта — ваш продукт (СМИ, база знаний), есть смысл закрыть обучение. Если вы продаёте услуги или товары, открытость обычно выгоднее: нейросеть знает о вас больше.
Через сколько изменения вступят в силу?
Когда робот заново прочитает robots.txt — обычно от нескольких дней до двух недель.
Влияет ли это на обычный поиск?
Правила для AI-ботов не меняют индексацию в Яндексе и Google: за неё отвечают роботы Yandex и Googlebot.
Что ещё сделать для нейросетей?
Добавить llms.txt и пройти чек-лист оптимизации сайта под нейросети.