Как измерить видимость в ИИ: метрики, выборка, ошибки

Чтобы измерить видимость бренда в ИИ, нужно задавать ИИ-ассистентам фиксированный и репрезентативный набор реальных вопросов, повторять их достаточное число раз, чтобы сгладить случайность, и считать, в какой доле корректных ответов ваш бренд упоминается или цитируется как источник. Ключевая метрика — это доля с честным знаменателем, которую публикуют вместе с её погрешностью и сравнивают с конкурентами только на одной и той же выборке. Всё остальное, от доли голоса до позиции в ответе, — лишь уточнения этой базовой схемы.

Главное

Единица измерения — отдельный ответ, а не «позиция в выдаче»: ИИ-ассистенты не ведут стабильного списка мест.
Доля упоминаний = ответы с упоминанием бренда ÷ корректные ответы. Ошибки, пустые ответы и отказы исключаются из знаменателя, а не засчитываются как нули.
Поскольку ответы меняются от запуска к запуску, один скриншот почти ничего не доказывает: нужны десятки или сотни ответов и доверительный интервал.
Сравнение с конкурентами имеет смысл, только если все бренды оцениваются на одних и тех же вопросах, моделях, рынке, языке и в одном временном окне.
Относитесь осторожно к непрозрачным составным «индексам видимости»: если число нельзя пересчитать по сохранённым ответам, его нельзя и проверить.

Что именно вы измеряете?

Видимость в ИИ описывает, как часто и в каком виде бренд появляется в ответах таких ассистентов, как ChatGPT, Gemini, Claude или Perplexity. В отличие от классической поисковой выдачи, у сгенерированного ответа нет фиксированных позиций. Один и тот же вопрос в одну минуту даёт список из пяти поставщиков, а в следующую — единственную рекомендацию. Поэтому самая надёжная единица наблюдения — отдельный ответ, сохранённый целиком вместе с процитированными источниками, моделью, языком, рынком и временем запроса.

Из этих сырых данных можно получить несколько разных сигналов. Они отвечают на разные вопросы, и смешивать их слишком рано не стоит:

Упоминание: встречается ли название бренда в тексте ответа вообще?
Цитирование: ссылается ли ответ на страницу вашего домена как на источник?
Заметность: где именно появляется бренд — в первом предложении, первым пунктом списка или в сноске?
Контекст: бренд рекомендуют, просто перечисляют, сравнивают не в его пользу или описывают с ошибками?

В научной литературе используются схожие идеи. В работе «GEO: Generative Engine Optimization» (Aggarwal et al., KDD 2024) видимость в генеративных поисковых системах измеряется, в частности, через число слов с поправкой на позицию и через оценку субъективного впечатления. Практический вывод: видимость многомерна, и заранее нужно решить, от какого именно измерения зависит ваше решение. Общий контекст о самой дисциплине вы найдёте в статье Что такое GEO.

Ключевые метрики и как их считать

Метрика	Формула	Что она показывает
Доля упоминаний	ответы с упоминанием бренда ÷ корректные ответы	Как часто вы вообще появляетесь
Доля цитирований	ответы со ссылкой на ваш домен ÷ корректные ответы	Использует ли ИИ ваш контент как доказательство
Доля голоса	ваши упоминания ÷ все упоминания отслеживаемых брендов в той же выборке	Ваша часть разговора по сравнению с конкурентами
Доля первых упоминаний	ответы, где вас называют первым ÷ ответы с вашим упоминанием	Насколько вы заметны, когда присутствуете
Доля точных ответов	ответы с верными фактами о вас ÷ ответы с вашим упоминанием	Помогает ли вам видимость или вредит

Доля упоминаний обычно становится главной метрикой: она проста и легко проверяется. Доля голоса полезна для конкурентного контекста, но зависит от того, каких конкурентов вы отслеживаете: добавьте в список нового игрока — и ваша доля упадёт, даже если в самих ответах ничего не изменилось.

Почему знаменатель так важен

Предположим, вы отправили 100 вопросов. Восемь из них завершились ошибкой, тайм-аутом или пустым ответом. Из 92 корректных ответов ваш бренд упоминается в 23. Честная доля упоминаний — 23 ÷ 92 = 25,0 %. Если делить на 100, получится 23 %, и технические сбои незаметно превратятся в «ИИ вас проигнорировал». Поскольку частота сбоев зависит от модели и дня, небрежный знаменатель способен рисовать тренды, которых нет. Сохраняйте сбои, сообщайте их количество и исключайте их из расчёта.

Выборка: сколько вопросов и как часто?

На практике языковые модели не детерминированы. Эмпирические исследования показывают, что даже при температуре, равной нулю, одинаковые запросы могут давать разные ответы (Atil et al., 2024; Ouyang et al., 2023). Веб-поиск, персонализация и обновления моделей добавляют ещё больше вариативности. Поэтому каждое измерение — это выборка из распределения, и обращаться с ним нужно статистически.

Как составить набор вопросов

Отталкивайтесь от реальных намерений. Соберите вопросы, которые действительно задают клиенты: категорийные («лучшая бухгалтерская программа для малого бизнеса»), сравнительные («X или Y?»), проблемные («как автоматизировать выставление счетов?») и локальные варианты.
Не включайте брендовые вопросы в основную метрику. Вопрос «Хорош ли БрендX?» почти всегда упомянет БрендX: это измеряет репутацию, а не находимость. Отслеживайте такие вопросы отдельно.
Зафиксируйте рынок и язык. Ответ на русском для пользователей в России может сильно отличаться от ответа на английском для США. Смешивая их, вы размываете оба результата.
Охватите все важные для вас модели. ChatGPT, Gemini, Claude и Perplexity используют разные данные для поиска и обучения; показывайте их отдельно, прежде чем агрегировать.
Повторяйте. Задавайте каждый вопрос несколько раз за период, чтобы один удачный или неудачный запуск не определял результат.
Заморозьте набор. Сохраняйте ядро вопросов неизменным во времени. Новые вопросы добавляйте отдельным сегментом, чтобы линия тренда оставалась сопоставимой.
Сохраняйте всё. Храните полный текст ответов и процитированные URL, чтобы любое число можно было позже пересчитать и проверить.

Размер выборки и доверительные интервалы

Доля, рассчитанная по небольшому числу ответов, очень шумная. При обычном нормальном приближении и уровне доверия 95 % погрешность в худшем случае составляет примерно ±13,9 процентного пункта при 50 корректных ответах, ±9,8 при 100, ±6,9 при 200 и ±4,9 при 400. Для малых выборок или долей, близких к 0 % или 100 %, интервал Уилсона ведёт себя лучше простой формулы. В примере выше 23 из 92 дают 95-процентный интервал Уилсона примерно от 17 % до 35 %. А при 4 из 20 интервал растягивается примерно от 8 % до 42 % — слишком широко, чтобы на этом основании что-то решать.

Практическое правило: прежде чем сообщать, что видимость «выросла с 25 % до 30 %», проверьте, сильно ли перекрываются два интервала. Если перекрываются, честный вывод звучит так: «явного изменения пока нет».

Сравнение с конкурентами

Именно в конкурентном бенчмаркинге ошибки измерения обходятся дороже всего. Честное сравнение требует, чтобы все бренды оценивались на одних и тех же ответах: те же вопросы, те же модели, тот же рынок и язык, те же даты. Тогда доли упоминаний всех брендов имеют общий знаменатель, а различия отражают реальные различия в ответах, а не артефакты отдельных запусков. На этой логике построено сравнение конкурентов на одной выборке.

Смотрите и на источники, стоящие за упоминаниями: если конкурентов цитируют с сайтов отзывов или отраслевых СМИ, где вас нет, это конкретная зацепка. Наш разбор Какие источники цитирует ИИ помогает читать такие закономерности, а статья Как ChatGPT рекомендует бренды описывает сигналы, которые стоят за рекомендациями.

Типичные ошибки измерения

Считать один ответ истиной. Скриншот — это анекдот, а не измерение.
Засчитывать сбои как нули. Ошибки и отказы не доказывают невидимость; исключайте их и раскрывайте их число.
Придумывать составной индекс. Если смешать упоминания, тональность и позицию в единый «ИИ-балл» с нераскрытыми весами, число нельзя ни проверить, ни воспроизвести.
Сравнивать разные выборки. Ваш показатель за март против показателя конкурента из другого инструмента, с другими вопросами или на другом языке почти ничего не говорит.
Менять набор вопросов на ходу. Если каждый месяц менять вопросы, график тренда превращается в график ваших собственных правок.
Игнорировать различия интерфейсов. Результаты через API и в потребительском чате могут различаться; указывайте, что именно вы измеряли.
Путать видимость с бизнес-результатом. Упоминание не гарантирует ни кликов, ни продаж. Рассматривайте видимость в ИИ как опережающий индикатор и по возможности связывайте её с реферальным трафиком и конверсиями.

Прозрачная методология, в которой описано, как собираются ответы, какие из них считаются корректными и как рассчитывается каждая доля, — лучшая защита от всех этих ошибок. GeoDog, например, хранит каждый ответ вместе с источниками, поэтому любую цифру можно проверить.

Частые вопросы

Сколько вопросов нужно для начала?

Для первой оценки 20–50 хорошо подобранных вопросов на рынок и язык, заданных по несколько раз в интересующих вас моделях, обычно дают порядка 100–200 корректных ответов. Этого достаточно, чтобы увидеть крупные разрывы; для отслеживания небольших изменений нужно больше.

Как часто нужно измерять видимость в ИИ?

Большинству брендов подходит ежемесячное измерение: модели и поисковые индексы меняются постепенно, а ежедневные колебания в основном шум. Измеряйте чаще вокруг запусков, крупных изменений контента или известных обновлений моделей.

Гарантирует ли высокая доля упоминаний трафик?

Нет. Ассистент может упомянуть бренд без ссылки, а пользователь может не перейти на сайт. Доля упоминаний измеряет присутствие в ответах; чтобы понять влияние на бизнес, сочетайте её с долей цитирований и данными веб-аналитики. Запустите первую проверку, чтобы увидеть, где вы находитесь сегодня.

Как измерить видимость в ИИ: метрики, выборка и типичные ошибки