Новости

В работе arXiv предложен агентный подход к вознаграждению для embodied world models

Обновлено: 27 июня 2026 г.

Почему это важно

Работа предлагает сместить фокус в RL для world models с ограниченной «безопасной» эксплорации к более широкой, но проверяемой. Подход с агентной системой проверки награды может сигнализировать о попытке решить проблему reward hacking, которая мешает масштабировать обучение при сложной динамике и сдвигах распределений. Это укладывается в более широкий тренд на усложнение механизмов верификации и оценки поведения моделей, а не только наращивание самой эксплорации.

Исследователи представили работу «Reward as An Agent for Embodied World Models», где предлагают по‑новому взглянуть на обучение world models с использованием RL. Авторы обращают внимание на ограничение распространенной практики: большинство методов строятся на консервативных rollouts, которые остаются близкими к распределению обучающих данных. В итоге система реже выходит за привычные траектории, хуже исследует пространство действий и почти не сталкивается с более сложной динамикой поведения.

По мнению авторов, проблема упирается не столько в само исследование среды, сколько в отсутствие надежной верификации. Когда таких механизмов нет, расширенное исследование быстро становится уязвимым для reward hacking. В этом случае политика учится оптимизировать несовершенные сигналы вознаграждения, хотя реальное поведение агента при этом не улучшается.

Чтобы проверить эту гипотезу, метод реализовали в embodied world models. Здесь физическая правдоподобность и успешное выполнение задач выступают строгим испытательным полигоном для масштабируемого RL при сложной динамике среды. Для части, связанной с проверкой поведения, авторы предлагают подход Reward as an Agent. Это агентный фреймворк вознаграждения, который активно оценивает сгенерированные действия и формирует более устойчивые сигналы вознаграждения, снижая риск reward hacking при сдвигах распределения.

Для расширения исследования среды также предложен механизм Dynamic-Aware Rollout Diversification на основе DynDiff-GRPO. Он явно расширяет action-space и нацелен на то, чтобы увеличить разнообразие генерируемых траекторий поведения.

Ключевые факты

Препринт «Reward as An Agent for Embodied World Models» опубликован на arXiv с идентификатором arXiv:2606.19990v1.
Авторы утверждают, что существующие методы RL для дообучения world models в основном используют консервативные rollouts рядом с обучающим распределением, что ограничивает исследование и разнообразие поведения.
В работе предложена агентная система оценки награды Reward as an Agent, которая активно проверяет сгенерированные поведения и формирует сигналы вознаграждения для снижения reward hacking при сдвигах распределений.
Для расширения исследования вводится метод Dynamic-Aware Rollout Diversification через DynDiff-GRPO, а сама методика тестируется в embodied world models с проверками физической правдоподобности и выполнения задач.