Исследователи поставили под сомнение «мышление» ИИ: цепочки рассуждений могут быть статистическим приёмом
Группа исследователей под руководством Суббарао Камбхампати из Университета штата Аризона опубликовала работу с критикой популярной в индустрии идеи: будто промежуточные цепочки рассуждений нейросетей отражают их реальное мышление. Речь о так называемых больших рассуждающих моделях, Large Reasoning Models (LRM), к которым относят OpenAI o1 и DeepSeek R1. Как сообщает iXBT, авторы считают, что последовательности Chain of Thought (CoT), которые модели выводят при решении задач, создают лишь правдоподобную картину когнитивного процесса. На уровне архитектуры трансформеров всё сводится к статистическому предсказанию следующего токена на основе уже имеющегося контекста.
Отдельно исследователи обсуждают так называемый «Aha-moment». Это момент, когда модель внезапно пишет фразы вроде «Ага, теперь я понял». По мнению авторов, внутри системы в этот момент не происходит какого-либо качественного изменения вычислений. Такие реплики рассматриваются как имитация человеческого стиля рассуждения, усвоенная во время обучения на больших массивах текстов.
В работе также рассматривается обучение с подкреплением на основе проверяемых вознаграждений (Reinforcement Learning with Verifiable Rewards, RLVR). В этой схеме оптимизация нацелена на правильный конечный ответ, тогда как промежуточные токены сами по себе не несут проверяемой семантической функции. Их отдельно не оценивают.
Авторы провели эксперименты с задачами, где результат можно формально проверить. Среди них навигация в лабиринтах и поиск кратчайших путей алгоритмами семейства A*. Выяснилось, что модели сохраняют высокую точность даже тогда, когда цепочки объяснений оказываются неверными или переставленными. Заметное падение производительности происходит лишь при случайном смешивании шаблонов рассуждений. Этот эффект исследователи называют «U-образной зависимостью».
Дополнительные тесты с no-maze instances показали ещё одну особенность. Модели способны генерировать длинные рассуждения даже для тривиальных задач. По мнению авторов, это ставит под сомнение связь между длиной объяснения и реальным объёмом вычислительных усилий системы.
Ключевые факты
Группа исследователей под руководством Суббарао Камбхампати из Университета штата Аризона заявила, что цепочки рассуждений (Chain of Thought) в моделях вроде OpenAI o1 и DeepSeek R1 являются результатом статистического прогнозирования следующего токена, а не аналогом человеческого мышления.
В работе модели анализируются через подход RLVR, при котором система оптимизируется на получение правильного конечного ответа, а промежуточные токены не имеют собственной семантической функции и не проходят отдельной проверки.
В экспериментах с задачами формальной верификации, включая навигацию в лабиринтах и поиск кратчайшего пути алгоритмами семейства A*, модели сохраняли высокую точность даже при замене корректных цепочек рассуждений на неверные или переставленные.
В экспериментах с «no-maze instances», где между стартом и целью не было препятствий, модели всё равно генерировали длинные цепочки рассуждений, что, по мнению авторов, указывает на статистическую природу таких объяснений.