Исследование LearnStop показало зависимость эффективности ранней остановки ИИ-моделей от типа задач
Исследователи разобрали, в каких случаях обучаемые механизмы ранней остановки помогают reasoning-моделям сокращать вычисления без потери качества ответов. Работа посвящена системе LearnStop, checkpoint-механизму без использования hidden state. Он оценивает корректность текущего префикса рассуждений по набору онлайн-признаков: confidence ответа, entropy, доле совпадающих ответов, стабильности ответа и плотности маркеров возврата к предыдущим шагам.
Как пишет arXiv cs.AI (Artificial Intelligence), авторы протестировали подход в 18 комбинациях задач и моделей на GSM8K, MATH-500, MMLU-Pro, AIME-90, GPQA, а также на моделях Qwen3 и distillation-версиях DeepSeek-R1. Итоги заметно зависели от типа задач. В математических задачах со свободной формой ответа multi-feature-подход улучшал соотношение между качеством и вычислительным бюджетом, а в ряде случаев превосходил scalar-методы остановки.
На GSM8K с Qwen3-32B исследователи зафиксировали post-hoc peak adapt gain на уровне +0.157. Преимущество над самым сильным scalar baseline составило +0.028. В задачах с выбором ответа и особенно сложных сценариях правила, основанные на confidence, entropy или стабильности, показывали сопоставимые результаты либо оказывались эффективнее более сложного обучаемого механизма остановки.
Ключевые факты
LearnStop оценивает корректность префикса рассуждений по confidence, entropy, стабильности ответа, доле совпадающих ответов и плотности backtracking-маркеров
Исследование охватило 18 комбинаций задач и моделей, включая GSM8K, MATH-500, MMLU-Pro, AIME-90, GPQA, Qwen3 и distillation-версии DeepSeek-R1
На GSM8K с Qwen3-32B post-hoc peak adapt gain достиг +0.157
Преимущество LearnStop над strongest scalar baseline на GSM8K с Qwen3-32B составило +0.028