Новости

Исследование: даже выровненные LLM могут действовать нерационально при рассуждении

Обновлено: 27 июня 2026 г.

Фото: arXiv cs.AI (Artificial Intelligence)

Почему это важно

Работа указывает на разрыв между выравниванием ценностей модели и тем, как она фактически рассуждает при выводе, что может означать дополнительные риски при использовании LLM в задачах принятия решений. Для компаний это сигнализирует, что одного пост‑обучения на ценностное выравнивание может быть недостаточно: стратегия рассуждения во время инференса тоже влияет на итоговую полезность ответов и укладывается в более широкий тренд исследований надежности LLM.

Исследователи предложили формальное объяснение ситуации, в которой большие языковые модели, даже прошедшие выравнивание по целевым функциям ценности, в процессе рассуждения всё равно не максимизируют эту ценность. В работе вводится понятие rational value risk. Так авторы называют разрыв полезности между стратегией рассуждения, которой модель фактически пользуется, и её рациональным вариантом, то есть ответами, максимизирующими ожидаемую полезность в направлении наибольшего роста. Как сообщает arXiv cs.AI (Artificial Intelligence), такой разрыв возможен даже у хорошо выровненных моделей после этапов обучения и пост‑обучения.

Авторы дают математическую формализацию оценки rational value risk и показывают, из чего складывается ошибка её измерения. Они выделяют три источника: ограниченное число кандидатов ответов, ограниченное число промптов и несовершенные верификаторы. В таком виде становится проще понять, где именно появляется расхождение между фактическим поведением модели и стратегией, которая считалась бы рациональной.

Эксперименты проводились на моделях семейств Llama-3.1, Qwen-2.5, T{"}"ulu-3 (7B-72B), а также GPT-5.2, GPT-5.5 и DeepSeek-V4. Проверку выполняли на бенчмарках UltraFeedback, AlpacaEval, GSM8K, MATH, HumanEval и MathArena. Результаты показывают, что rational value risk встречается довольно широко. Выравнивание ценностей уменьшает этот разрыв, но не убирает его полностью. Многое зависит от выбранной стратегии рассуждения на этапе inference. При увеличении длины рассуждений рациональность растёт, хотя эффект постепенно ослабевает.

Ключевые факты

В работе вводится формализация rational value risk, расхождения в полезности между фактической стратегией рассуждения модели и рациональным ответом, который максимизирует ожидаемую полезность.
Ошибка оценки rational value risk разложена на три источника: конечное число кандидатов, конечное число промптов и несовершенные верификаторы.
Эксперименты проведены на моделях семейств Llama-3.1, Qwen-2.5 и T{"}ulu-3 (7B–72B), а также GPT-5.2, GPT-5.5 и DeepSeek-V4.
Оценка выполнялась на бенчмарках UltraFeedback, AlpacaEval, GSM8K, MATH, HumanEval и MathArena; результаты показывают, что риск широко распространен, снижается при value alignment, но не устраняется полностью и зависит от стратегии рассуждения при инференсе.