Исследование ставит под сомнение реалистичность LLM‑симуляторов пользователей в задачах покупки

Симуляция пользователей с помощью LLM постепенно стала частью инфраструктуры разговорных ИИ. Такие модели используют в бенчмарках агентов, включая tau-bench, в обучающих пайплайнах и в исследованиях, где проверяют, насколько убедительно система может вести диалог от имени человека. Обычно подобные работы оценивают так называемую communicative fidelity. Проще говоря, смотрят, насколько ответы симулятора похожи на человеческие, и сопоставляют их с диалогами, где оплачиваемые участники разыгрывают заданные цели.

Авторы новой работы обращают внимание на структурное ограничение этой схемы. Когда цель задается заранее, готовность пользователя действовать оказывается внешним условием эксперимента. В реальной жизни все устроено иначе: мотивация человека внутренняя, часто скрытая и со временем может ослабевать. Поэтому исследователи предлагают смотреть на другой показатель, decision fidelity, способность симулированной популяции воспроизводить динамику решений реальных людей, когда они сталкиваются с настоящими и значимыми выборами.

Подход проверили на наборе из 2,790 производственных диалогов между LLM-продавцом и настоящими клиентами. В выборку вошли 793 разговоров с подтвержденными платежными результатами. Используя протокол teacher-forced probe, где контекст и инструмент фиксированы, авторы сравнивают решения симулированных пользователей с поведением людей. Как сообщает arXiv cs.AI (Artificial Intelligence), анализ показал систематическую ошибку, связанную с исходами взаимодействия. Исследователи называют ее disengagement deficit.