Задача этой проверки не в том, чтобы понять, «нравится» ли ваш сайт ChatGPT. Цель конкретная: убедиться, что поисковый агент может получить страницу, понять её содержание и извлечь критичную информацию — цену, условия, адрес, дату, имя автора. Если хотя бы один из этих шагов сломан, сайт просто выпадает из AI-ответов, даже при хорошем SEO.

Ниже — структурированный процесс из трёх уровней: доступ краулера, индексация и рендеринг, диалоговая проверка восприятия.

Что такое OAI-SearchBot и зачем его проверять первым?

OAI-SearchBot против GPTBot: в чём разница

OAI-SearchBot — это поисковый краулер OpenAI, который собирает контент для показа в ChatGPT Search1. Он отличается от GPTBot: GPTBot обходит сайты для обучения моделей, а OAI-SearchBot — для показа ответов со ссылками2. Если вы заблокировали OAI-SearchBot в robots.txt, ваш сайт не будет появляться в ChatGPT Search в качестве источника2.

Важно: блокировка OAI-SearchBot и GPTBot — это разные политики с разными последствиями. Многие сайты по умолчанию блокируют «всех» AI-ботов и потом удивляются, почему их нет в ChatGPT-ответах.

Как проверить доступ краулера

  1. Откройте robots.txt вашего сайта: https://ваш-сайт.ru/robots.txt
  2. Убедитесь, что строки вида Disallow: / не распространяются на OAI-SearchBot
  3. Если есть правило User-agent: * с Disallow: / — проверьте, что ниже есть явное Allow для нужных агентов
  4. Проверьте, не блокирует ли ваш WAF или CDN запросы от AI User-Agent'ов: выполните curl -A "OAI-SearchBot" https://ваш-сайт.ru/ключевая-страница и убедитесь, что в ответе есть текстовое содержимое, а не страница 403 или CAPTCHA

Актуальный список User-agent токенов OpenAI — в официальной документации1.

Как убедиться, что страница проиндексирована и отдаёт читаемый HTML?

Страница должна быть проиндексирована и отдавать полный HTML — не пустой контейнер div#root, который наполняется только после выполнения JavaScript. ChatGPT Search даёт ответы со ссылками на релевантные веб-источники3, но для этого контент должен быть доступен на этапе краулинга, до рендеринга JS.

Используйте два инструмента:

Google URL Inspection: отрендеренная версия страницы

В Search Console этот инструмент показывает проиндексированную версию страницы и позволяет запустить тест «Проверить индексирование URL» на живом URL4. Инструмент отображает отрендеренную версию — именно так страницу видит GoogleBot4. Если отрендеренный вариант пустой или содержит заглушку — у AI-краулеров та же проблема.

Bing URL Inspection: охват через сторонний индекс

Bing URL Inspection проверяет краулинг, индексирование, SEO-параметры и разметку5. Это важно не только для Bing: ChatGPT Search использует сторонних поисковых провайдеров3, и присутствие в Bing-индексе расширяет охват. Подробнее об этом канале — в материале Bing и ChatGPT: зачем добавлять сайт в Bing Webmaster Tools.

Google Rich Results Test: валидность structured data

Google Rich Results Test проверяет доступность страницы и валидность структурированных данных6. Он покажет, какие schema-типы прочитаны правильно, а где ошибки.

ИнструментЧто проверяетГде найти
Google URL InspectionИндексируемость, отрендеренный HTML, canonicalGoogle Search Console
Bing URL InspectionКраулинг, индексирование, SEO, markupBing Webmaster Tools
Google Rich Results TestStructured data, доступность страницыsearch.google.com/test/rich-results6
curl с OAI-SearchBot UAНаличие текста в initial HTML, ответ CDN/WAFТерминал / Postman

Технические детали — JS-рендеринг и его влияние на AI-поиск — подробно разобраны в статье Почему сайт на JavaScript (SPA) не попадает в AI-ответы.

Как проверить, что ChatGPT правильно «понимает» содержание страницы?

Правильный вопрос — не «что видит», а «что извлекает». ChatGPT может получить страницу, но вытащить из неё не те факты или перепутать условия. Диалоговая проверка — это тест восприятия, а не гарантия индексации.

Откройте ChatGPT с включённым поиском и задайте конкретные промпты:

Промпт 1 — проверка критичных фактов

«Открой полный URL. Какая основная услуга, цена, условия доставки и оплаты? Какие конкретные фрагменты со страницы это подтверждают?»

Промпт 2 — проверка цитируемости

«Почему ты не процитировал мой сайт URL в ответе на запрос "запрос"? Назови вероятные причины.»

Промпт 3 — проверка качества фрагментов

«Какие 5 фрагментов с этой страницы URL ты бы использовал для ответа на вопрос "вопрос"?»

Что искать в ответах: правильно ли извлечены цена, условия, адрес, телефон, дата, имя автора? Ссылается ли ChatGPT на конкретные абзацы или даёт общее пересказывание? Если модель «угадывает» факты — значит, они плохо структурированы на странице.

Важно: ответ ChatGPT — это тест восприятия, не абсолютная истина. Диалог показывает, как модель интерпретирует страницу сейчас, а не является подтверждением реальной индексации или попадания в будущие ответы.

Структуру чанков — смысловых блоков, которые ChatGPT извлекает как автономные ответы — подробно разбирает статья Что такое чанк и как писать автономные чанки.

Какие ошибки встречаются чаще всего?

Чаще всего встречаются пять ошибок: проверка только главной страницы, общие вопросы вместо конкретных, игнорирование критичных фактов, путаница между GPTBot и OAI-SearchBot, и восприятие ответа ChatGPT как абсолютной гарантии. Яндекс Нейро поддерживает уточнения в диалоге и работу с многосоставными вопросами7, поэтому часть из этих проверок применима и к Яндексу — с поправкой на его собственный краулер и индекс.

Типичные ошибки при самостоятельной проверке:

  • Проверять только главную страницу. ChatGPT извлекает контент со страниц, релевантных конкретному запросу. Проверяйте посадочные, карточки товаров, статьи.
  • Задавать общий вопрос «что видишь?». Без конкретного интента ChatGPT даёт размытый пересказ. Спрашивайте о конкретных фактах.
  • Не проверять критичную информацию. Именно цена, наличие, адрес, телефон, дата и условие — то, что пользователь ищет в AI-ответе и что ChatGPT должен уметь извлечь точно.
  • Путать GPTBot и OAI-SearchBot. Блокировка GPTBot (обучение модели) не означает блокировку OAI-SearchBot (поиск и показ). Они управляются отдельными токенами1.
  • Считать ответ ChatGPT гарантией. Диалог — диагностика восприятия. Это полезный инструмент, но не замена URL Inspection и анализу robots.txt.

Полный чек-лист: что проверить за один проход

Уровень 1 — Доступ краулера

  • robots.txt: OAI-SearchBot не заблокирован
  • WAF/CDN: не режет запросы с AI User-Agent
  • curl-тест: curl -A "OAI-SearchBot" [URL] возвращает текст статьи, а не ошибку

Уровень 2 — Индексация и рендеринг

  • Google URL Inspection: страница проиндексирована, отрендеренный HTML содержит контент
  • Bing URL Inspection: нет ошибок краулинга и разметки
  • Rich Results Test: structured data валидна
  • Initial HTML содержит h1, описание, canonical — без JS

Уровень 3 — Диалоговая проверка

  • ChatGPT правильно называет цену, условия, адрес
  • ChatGPT ссылается на конкретные фрагменты, а не пересказывает
  • На вопрос «почему не цитируешь?» нет технических причин (закрыт, не найден, пустой HTML)

Техническую сторону аудита — robots.txt, рендеринг, доступность AI-ботов — детально описывает материал Технический аудит сайта под AI-поисковики.

Что делать, если ChatGPT «не видит» нужных фактов?

Если диалоговая проверка показала, что модель не извлекает критичные данные, причины обычно в одном из трёх:

  1. Технический барьер: краулер заблокирован, HTML пустой, CDN возвращает ошибку. Решается через чек-лист выше.
  2. Слабая структура контента: факты спрятаны в середине абзаца, нет прямого ответа в первом предложении, заголовок не совпадает с интентом. Решается переработкой чанков.
  3. Нет на странице вовсе: страница не содержит тех данных, которые ищет пользователь. Решается контентом, а не техникой.

О том, как построить контент, чтобы нейросети правильно понимали сигналы доверия — читайте в Оптимизация контента под GPT-поиск: расширенные заголовки и интенты.

Итог

Проверка видимости в ChatGPT — это трёхэтапный процесс: доступ краулера (robots.txt, WAF), индексация и рендеринг (Google/Bing Inspection, Rich Results Test), диалоговая проверка извлечения фактов. Ни один из этапов нельзя пропустить: технически открытый, но плохо структурированный сайт будет проиндексирован, но не процитирован.

Платформа GeoWatch автоматизирует часть этого процесса: прогоняет интенты по нейросетям, фиксирует, где бренд появляется, а где нет, и даёт конкретные рекомендации по устранению разрывов. Если хотите понять, как ChatGPT видит ваш сайт прямо сейчас — это можно проверить в рамках GEO-аудита.

Источники

Footnotes

  1. OpenAI — Bots documentation — developers.openai.com ↗ (дата доступа: 2026-06-03) ↩ ↩2 ↩3
  2. OpenAI — Bots documentation (OAI-SearchBot opt-out) — developers.openai.com ↗ (дата доступа: 2026-06-03) ↩ ↩2
  3. OpenAI — Introducing ChatGPT Search — openai.com ↗ (31 окт 2024) ↩ ↩2
  4. Google — URL Inspection Tool — support.google.com ↗ (дата доступа: 2026-06-03) ↩ ↩2
  5. Bing — URL Inspection — bing.com ↗ (дата доступа: 2026-06-03) ↩
  6. Google — Rich Results Test — search.google.com ↗ (дата доступа: 2026-06-03) ↩ ↩2
  7. Яндекс — Запуск Нейро — webmaster.yandex.ru ↗ (16 апр 2024) ↩