Новости

Метод MIT выявляет чрезмерно уверенные ответы больших языковых моделей

Обновлено: 27 июня 2026 г.

Почему это важно

Работа указывает на ограниченность популярных способов проверки надежности ответов LLM, которые опираются на повторные запросы к одной и той же модели. Подход с измерением расхождения между несколькими моделями может сигнализировать о более практичном способе выявлять «уверенные, но неверные» ответы и укладывается в общий тренд на повышение проверяемости и управляемости ИИ в чувствительных сферах вроде здравоохранения и финансов. Для компаний это может означать смещение фокуса с одной модели к системам из нескольких моделей для оценки надежности результатов.

Большие языковые модели (LLMs) способны генерировать убедительные, но неточные ответы, поэтому исследователи разрабатывают методы uncertainty quantification для проверки надежности предсказаний. Один из распространенных подходов, отправлять один и тот же запрос несколько раз и проверять, совпадают ли ответы. Однако такой метод измеряет лишь self-confidence: модель может последовательно выдавать один и тот же ответ и при этом ошибаться. Подобная избыточная уверенность может вводить пользователей в заблуждение, особенно в сферах с высокими рисками, таких как health care или finance.

Исследователи MIT предложили метод, который измеряет другой тип неопределенности и помогает надежнее выявлять уверенные, но неправильные ответы LLM. Подход основан на сравнении ответа целевой модели с ответами группы схожих LLM. По результатам работы оказалось, что измерение cross-model disagreement лучше отражает этот тип неопределенности, чем традиционные методы.

Авторы объединили этот подход с метрикой self-consistency и получили совокупную метрику total uncertainty. Ее протестировали на 10 реалистичных задачах, включая question-answering и math reasoning. В экспериментах total uncertainty metric стабильно превосходила другие меры и точнее выявляла ненадежные предсказания.

Ключевые факты

Исследователи MIT предложили метод оценки неопределенности LLM, основанный на сравнении ответа целевой модели с ответами группы похожих LLM и измерении расхождения между ними.
Подход оценивает эпистемическую неопределенность через несогласие между моделями, тогда как распространенный метод с повторением одного и того же запроса измеряет лишь внутреннюю уверенность одной модели.
Исследователи объединили измерение межмодельного расхождения с метрикой самосогласованности и получили совокупную метрику неопределенности.
Совокупную метрику протестировали на 10 реалистичных задачах, включая question-answering и math reasoning; она показала более высокую точность в выявлении ненадежных предсказаний по сравнению с другими методами.