В материале о наблюдаемости LLM-приложений разбирается случай, когда ИИ-чатбот службы поддержки две недели отвечал пользователям уверенно и правдоподобно, но при этом допускал фактические ошибки. Система придумывала несуществующие товары и путалась в ценах на тысячи долларов. Проблема осложнялась тем, что ответы не выглядели как типичные галлюцинации: тон оставался убедительным, поэтому сбой заметили не сразу.
Как пишет Towards AI, о проблеме узнали только после обращения клиентской команды поддержки в среду в 9:47 вечера. У разработчиков были стандартные логи с отметками API-вызовов и временем запросов, однако для диагностики этого не хватило. Команда не смогла сопоставить ошибки с изменениями в структуре промптов, определить, какая версия модели использовалась в конкретный период, или понять, где именно возникал сбой: на этапе retrieval, генерации ответа либо постобработки.
Автор материала приводит этот случай как аргумент в пользу более глубокой наблюдаемости AI-систем. Простая фиксация входящих и исходящих запросов не помогает вовремя замечать «тихие» деградации качества, когда ответы выглядят корректными, но содержат критические неточности.
Ключевые факты
Чатбот службы поддержки выдавал неверные ответы на протяжении двух недель до обнаружения проблемы
Ошибки включали несуществующие товары и неверные цены с отклонением на тысячи долларов
У команды были логи API-вызовов и временные метки запросов, но не было данных для сопоставления ошибок с изменениями промптов
Разработчики не могли определить, возникал ли сбой на этапе retrieval, генерации ответа или постобработки