Метод SEVRA предлагает выборочную проверку рассуждений для экономии вычислений у языковых моделей
Исследователи описали подход \sevra (Selective Verification for Reasoning Allocation). Он предназначен для управления вычислительными затратами при использовании test-time reasoning. Авторы формулируют задачу не как создание нового верификатора, а как проблему распределения вычислений на этапе эксплуатации. Контроллер на уровне сервинга принимает решение: оставить исходный ответ «замороженного» решателя или запустить дополнительную активную проверку.
В экспериментах использовали замороженный решатель Qwen3-4B. Все случаи вмешательства фиксировались, после чего на основе состояния попытки, наблюдаемого на уровне сервинга, обучались recoverability-aware gate‑модели.
На наборе \mathfive выборочная проверка дала точность 76.3% против 75.5% у стратегии, при которой проверка выполняется всегда. При этом объём post-generation токенов сократился на 26.8%, а доля harmful flips снизилась с 2.2% до 1.0%. Авторы также приводят альтернативный вариант: первоначальное решение длиной 8,192 токена. Он достигает точности 76.0% и использует на 28% меньше общего числа модельных токенов. Это показывает, что выборочное восстановление приносит пользу, но не является самой выгодной точкой по стоимости вычислений среди протестированных вариантов.
В эксперименте frozen transfer на \gsm выборочная политика запускает проверку только для 3.0% примеров. При этом точность растёт с 93.4% до 94.5%.
Ключевые факты
В работе предложен контроллер SEVRA (Selective Verification for Reasoning Allocation), который на уровне сервинга решает, оставить первоначальный ответ «замороженного» решателя или запускать активную проверку.
В экспериментах с замороженным решателем Qwen3-4B на наборе mathfive выборочная проверка достигла точности 76.3% против 75.5% при режиме всегда‑проверки.
Тот же эксперимент показал снижение числа постгенерационных токенов на 26.8% и уменьшение доли harmful flips с 2.2% до 1.0%.
Начальное решение длиной 8,192 токена дало точность 76.0% при использовании на 28% меньшего общего числа токенов модели; при переносе на gsm политика проверяет 3.0% примеров и повышает точность с 93.4% до 94.5%.