Theoria предлагает проверку ответов ИИ через отслеживание изменений в рассуждении

Исследователи представили архитектуру проверки Theoria для верификации ответов ИИ в задачах с неформальными рассуждениями. Система переводит предложенное решение в последовательность типизированных переходов между состояниями. Каждый шаг должен сопровождаться явным обоснованием: ссылкой, вычислением или фактом из условия задачи.

Как сообщает arXiv cs.AI (Artificial Intelligence), в основе Theoria лежит принцип «полноты изменений». Любая разница между двумя последовательными состояниями доказательства должна быть объяснена явно. По замыслу авторов, это помогает находить скрытые предпосылки, которые проявляются как неподтвержденные изменения, а не остаются незаметными.

На наборе HLE-Verified Gold, куда входят 185 текстовых экспертных задач, система сертифицировала 105 решений при строгой точности 91,4%. Для каждого подтвержденного решения Theoria создает человекочитаемую трассу доказательства, в которой отдельные шаги можно проверять независимо. Авторы также отмечают, что holistic LLM judges показали сопоставимую точность при аналогичном покрытии, хотя ошибались на других типах задач.