Исследователи представили подход Strategy-Guided Policy Optimization (SGPO). Его задача, передать навыки рассуждения от более сильных языковых моделей к более слабым. В традиционной дистилляции обычно копируются конкретные траектории решения, фактически воспроизводится последовательность шагов ответа. В результате модель усваивает скорее «что отвечать», чем сам способ мышления. Из-за этого она запоминает частные решения и хуже переносит знания на новые задачи.
В новом методе вместо копирования отдельных траекторий используется дистилляция повторно применяемых стратегий. Система извлекает из ответов сильной модели структурированные описания таких стратегий. Затем для каждой задачи формируются две траектории: автономная и стратегически направляемая. Это позволяет напрямую сопоставить поведение модели с подсказанной стратегией и без нее.
Для передачи стратегий применяется целевая функция token-level forward-KL. Она переносит распределительное смещение, возникающее из-за стратегического условия, в неконтролируемую политику модели. При этом проксимальные ограничения поддерживают стабильность обучения. Также используется адаптивное взвешивание на уровне отдельных задач. Если автономное исследование модели оказывается слабым, влияние стратегического руководства усиливается. Работа описана в публикации, о которой пишет arXiv cs.AI (Artificial Intelligence).
Ключевые факты
На arXiv опубликована работа «Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning» (arXiv:2606.24064v1).
Авторы предлагают метод Strategy-Guided Policy Optimization (SGPO), который заменяет имитацию траекторий решения на дистилляцию переиспользуемых стратегий.
SGPO извлекает структурированные описания стратегий из ответов сильной модели и для каждой задачи строит автономные и направляемые стратегией траектории, чтобы сравнивать поведение модели с подсказкой и без неё.
В методе используется токен-уровневая цель forward-KL с проксимальными ограничениями для стабильности, а также адаптивное взвешивание на уровне отдельных задач, усиливающее руководство, когда автономное исследование оказывается недостаточным.