Почему термин «галлюцинации» не объясняет ошибки AI-систем
Автор статьи предлагает отказаться от общего термина «галлюцинации» для всех сбоев AI-моделей и разделять ошибки по уровням. Речь может идти о потере контекста, логических сбоях или проблемах с проверкой фактов. Когда такие случаи объединяют одной маркировкой, становится сложнее понять причину ошибки и подобрать способ исправления.
Как пишет Towards AI, поведение моделей стоит анализировать как минимум на трёх уровнях: внутренних вычислений при генерации отдельного токена, формирования авторегрессионной последовательности и внешней оркестрации системы. В статье подчёркивается, что подходы к исправлению на каждом уровне отличаются. Изменение prompt’ов не всегда помогает с верификацией, а архитектурные надстройки не устраняют ошибки, возникающие внутри самой генерации.
Отдельно автор разбирает влияние небольших изменений формулировки prompt’а на внутренние представления модели. Запросы, которые для человека звучат почти одинаково, могут запускать разные механизмы attention и приводить к заметно разным ответам. В качестве примера приводятся исследования, где негативные prompt’ы снижали фактическую точность и усиливали bias.
Ключевые факты
Автор выделяет три уровня анализа ошибок: генерация отдельного токена, формирование авторегрессионной последовательности и внешняя оркестрация
В статье говорится, что небольшие изменения в prompt’е могут существенно менять внутренние преобразования модели
Attention heads описываются как механизм, определяющий, какие части контекста влияют на генерацию следующего токена
В качестве примера приводятся исследования, где негативные prompt’ы снижали фактическую точность и усиливали bias