Автор блога Canonry считает, что инструменты для оценки «видимости» брендов в ChatGPT, Claude, Gemini, Perplexity и AI-ответах Google создают лишь ощущение точности. Речь о метриках вроде mention rate, citation rate, share of voice и позиций в рейтингах. По его мнению, такие показатели могут показывать общий тренд, но не подходят для стабильных и воспроизводимых измерений.
Как сообщает Hacker News, проблема связана с устройством самих AI-систем. Ответы зависят от географии пользователя, истории аккаунта, типа подписки, браузерной сессии и даже конкретной формулировки запроса. Поэтому сервисы, которые собирают данные напрямую из интерфейсов ChatGPT или Claude, по сути фиксируют только одну синтетическую сессию. При массовом скрейпинге появляются дополнительные искажения: влияют облачные IP-адреса, автоматизация, повторяющиеся логины и возможные антиабьюз-механизмы AI-платформ.
Автор отдельно отмечает, что одинаковые запросы нередко дают разные результаты при повторных попытках. В пример приводятся исследования SparkToro и Gumshoe. Добровольцы много раз запускали коммерческие запросы через ChatGPT, Claude и AI-сервисы Google, после чего сравнивали ответы. Набор рекомендованных брендов заметно менялся от попытки к попытке. По мнению автора, именно такая нестабильность делает любые аккуратные рейтинги «видимости» слишком уверенными относительно качества исходных данных.
Ключевые факты
Автор связывает нестабильность ответов даже при temperature-zero с особенностями batching и kernel behavior под производственной нагрузкой
В тексте отдельно упоминаются ChatGPT, Claude, Gemini, Perplexity и AI-ответы Google
Исследование SparkToro и Gumshoe показало, что повторные коммерческие запросы в ChatGPT, Claude и AI-сервисах Google давали разные рекомендации брендов
Автор считает, что API-вызовы и скрейпинг интерфейсов измеряют разные «поверхности» по сравнению с тем, что видит реальный пользователь