Упоминания бренда просели, а контент не менялся? Часто виноваты robots.txt, защита от ботов, потерянный llms.txt или новый дизайн. Как найти причину и ловить такие поломки автоматически.

Вас перестали упоминать — а контент не менялся

Типичная история: частота упоминаний бренда в ответах нейросетей держалась несколько месяцев, а потом за неделю просела. Новых конкурентов нет, статьи на месте. Причина часто оказывается технической и совсем не связанной с маркетингом: сайт просто перестал быть доступен для AI-ботов.

Четыре технические причины

1. AI-боты закрыты в robots.txt

Достаточно одной строки, чтобы конкретная нейросеть перестала видеть сайт:

User-agent: GPTBot
Disallow: /

Такие правила часто добавляют «на всякий случай» SEO-плагины, разработчики при переезде или шаблоны CMS. Для GEO важны как минимум GPTBot и OAI-SearchBot (ChatGPT), ClaudeBot, PerplexityBot, Google-Extended.

2. Блокировка на уровне сервера

robots.txt может быть в порядке, а защита от ботов (WAF, Cloudflare, антибот-сервисы хостинга) отдаёт AI-роботам ошибку 403 или страницу с капчей. Снаружи сайт открывается нормально, поэтому проблему долго не замечают.

3. Пропал llms.txt

llms.txt — файл в корне сайта, который коротко описывает компанию и перечисляет главные страницы. Это не обязательный стандарт, но он помогает нейросетям быстрее понять сайт. После обновления сайта файл нередко теряется.

4. Просела AI-читаемость страниц

Новый дизайн главной убрал заголовки, тексты ушли в картинки или подгружаются скриптом, исчезли разметка Schema.org и блок вопросов-ответов. Человеку страница нравится, а нейросети не из чего собрать ответ.

Как ловить это до падения упоминаний

Вручную такие вещи проверяют раз в полгода, когда уже поздно. В НейроРанке это делается автоматически: раз в неделю мы проверяем сайт бренда —

  • доступ восьми AI-ботов, включая робота Яндекса YandexAdditional: правила robots.txt и реальный ответ сервера на их User-Agent;
  • наличие и структуру llms.txt;
  • AI-читаемость главной страницы по 10 критериям: заголовки, объём текста, FAQ, разметка, описание, дата публикации и другие;
  • открывается ли сайт вообще.

Результат сравнивается с прошлой неделей. Если что-то ухудшилось — бот закрыт, llms.txt исчез, оценка упала на 20 пунктов и больше или сайт не открылся, — на платных тарифах приходит алерт на почту или в Telegram. Последний результат виден в кабинете в разделе «Техаудит», там же можно проверить любую страницу вручную.

Что сделать прямо сейчас

  1. Откройте ваш-сайт.ru/robots.txt и поищите упоминания GPTBot, ClaudeBot, PerplexityBot. Если стоит Disallow: / — уберите, если не закрывали их сознательно.
  2. Проверьте доступ ботов и llms.txt бесплатными инструментами на projectop.ru/check — без регистрации.
  3. Если llms.txt нет — его можно сгенерировать там же по вашей главной странице.

Технические причины — самые обидные: их легко исправить, но о них узнают последними. Подключите бренд, и мы будем проверять сайт каждую неделю.

Источники