Какие метрики авторы conversational AI считают важнее формальных показателей эффективности

Команды, которые разрабатывают conversational AI‑ассистентов, часто смотрят на формальные метрики: сколько тикетов удалось закрыть и как часто диалог приходится передавать человеку. Но такие показатели не всегда совпадают с тем, как пользователи реально воспринимают сервис. Как пишет Towards AI, проблемы нередко всплывают только при анализе дополнительных данных, например длины диалога, числа повторных уточнений и времени, которое уходит на фактическое решение задачи.

Автор приводит пример стартапа, где дашборды показывали высокую эффективность саппорт‑бота, хотя оценки NPS оставались низкими. После разбора выяснилось, что ассистент закрывал обращения лишь после пяти–шести лишних обменов сообщениями и постоянно задавал вопросы, ответы на которые система уже должна была знать.

Отдельно в материале выделяют NPS как метрику, которая связывает работу ассистента с бизнес‑результатом. Для её сбора предлагают запускать опрос после завершения диалога с оценкой от 0 до 10. Ответы 9–10 относят к promoters, 7–8 к passives, а 0–6 к detractors. Автор также советует сегментировать результаты по типу разговора, когорте пользователей и версии ассистента. Это помогает отслеживать, как изменения в продукте влияют на пользовательский опыт.