Один запрос к ИИ-поиску не показывает позицию бизнеса. Он показывает один случайный вариант ответа, который в следующую минуту может выглядеть иначе. Для владельца компании вывод неприятный, но полезный: привычный отчёт с местом в выдаче здесь не работает, а метрику видимости придётся строить как вероятностное измерение.
Три запроса, три выдачи
Автор Habr трижды подряд задал ИИ-поиску один и тот же вопрос о мастере на дом, не меняя формулировку. В первом ответе система назвала 9 компаний, во втором 12, в третьем 7. Во всех трёх попытках совпали только пять названий из пятнадцати.
Разброс оказался ещё заметнее на уровне сайтов: в одном из сравнений первая и третья попытки не пересеклись вообще. Иными словами, система отвечала на одинаковый вопрос, но каждый раз собирала новый список кандидатов.
Это ломает самый удобный формат отчётности: задать запрос, найти бренд, сделать скриншот и записать попадание в KPI. Если одной попыткой получилось 20%, а через месяц 25%, из эксперимента на Habr следует простой риск: обе цифры могут целиком зависеть от конкретной генерации. Красивый график при этом останется красивым. Просто измерять он будет удачу.
Вместо позиции нужна частота попадания
Для AI visibility разумнее считать не «какое у нас место», а как часто компания появляется в серии одинаковых тестов. Базовая единица измерения здесь не ответ, а набор прогонов.
Практический протокол может выглядеть так:
- Составить фиксированный список запросов, связанных с выбором продукта или услуги.
- Повторить каждый запрос несколько раз без изменения формулировки.
- Записать, в скольких ответах появился бренд, сайт или карточка компании.
- Повторить тест для каждой модели и каждого используемого режима отдельно.
- Для локального бизнеса разбить измерение по географии, а не смешивать города и районы в одну цифру.
- Сравнивать периоды только при одинаковом протоколе.
Результатом должна быть частота попадания: например, бренд появился в X ответах из N. Рядом нужны размер выборки и доверительный интервал, то есть диапазон, внутри которого может находиться реальная видимость с учётом разброса. Без числа прогонов процент почти декоративен: «20%» может означать одно попадание из пяти или двадцать из ста, а убедительность этих оценок разная.
Модели тоже нельзя складывать в общий котёл. Если одна система стабильно называет компанию, а другая не называет вовсе, средняя цифра скроет различие, которое для бизнеса важнее самой средней. То же относится к географии. Запрос про мастера на дом по смыслу локален, поэтому измерение без фиксации места рискует сравнивать разные рынки под одной подписью.
Локальная рекомендация уже зависит от контекста
RB.ru писал, что Авито Услуги начали тестировать поиск исполнителей для ремонта и строительства «Соседи рекомендуют». В подборку входят специалисты с высокими оценками от жителей ближайших домов. По данным платформы, треть россиян, обращавшихся за услугами исполнителей, считают рекомендации знакомых и соседей главным фактором выбора.
Для бизнеса это означает, что универсального списка «лучших компаний» становится всё меньше даже в обычных сервисах. А генеративный ответ добавляет к локальному контексту собственный разброс. Поэтому обещание «выведем вас в ответы нейросетей» без описания модели, географии, набора запросов и числа повторов звучит не как измеримый продукт, а как ставка на удачный скриншот.
До оплаты подрядчику достаточно задать три вопроса: сколько прогонов сделано для каждого запроса, в каких моделях и географиях проводился тест, какой разброс получился между повторами. Если в отчёте есть только процент и несколько примеров, проверить рост нельзя.
Главный маркер взросления рынка будет простым: агентства начнут показывать не единичные ответы, а размер выборки, частоту попадания и доверительные интервалы по каждой модели и географии. Пока этого нет, один скриншот подтверждает лишь одно: в конкретную секунду нейросеть выдала именно такой текст.