К содержанию
Новости

ENPIRE: фреймворк для самосовершенствования политик роботов через цикл обратной связи в реальном мире

Исследователи представили ENPIRE, фреймворк для coding agents, который помогает улучшать политики управления роботами через повторяемый цикл обратной связи в физической среде. Авторы подчеркивают проблему: даже сейчас ловкие манипуляции в реальном мире во многом опираются на человеческий контроль и ручную инженерную настройку алгоритмов. Именно это, по их мнению, остается узким местом на пути к общей физической интеллектуальности.

Появляющиеся coding agents уже умеют генерировать код и автоматизировать поиск алгоритмов. Однако заметные результаты пока в основном получаются в цифровых средах. Авторы считают, что робототехнике не хватает удобной абстракции для автоматизации исследований. Речь о повторяемом цикле улучшения политики прямо в реальном мире: сначала сброс сцены, затем выполнение политики, после этого проверка результата и корректировка для следующей итерации.

ENPIRE как раз реализует такой физический цикл обратной связи. В системе есть четыре ключевых модуля. Environment (EN) занимается автоматическим сбросом сцены и проверяет результат выполнения. Policy Improvement (PI) запускает процесс улучшения политики. Модуль Rollout (R) оценивает политики с помощью одного или нескольких физических роботов, при этом роботы могут работать параллельно. Модуль Evolution (E) позволяет coding agents анализировать логи, обращаться к научной литературе и дорабатывать инфраструктуру обучения и код алгоритмов, чтобы устранять обнаруженные режимы отказа.

Ключевые факты

  • На arXiv опубликована работа «ENPIRE: Agentic Robot Policy Self-Improvement in the Real World» (arXiv:2606.19980v1).

  • В статье представлен фреймворк ENPIRE, реализующий цикл улучшения политики в реальном мире: сброс сцены, выполнение политики, проверка результата и последующее улучшение.

  • Архитектура ENPIRE включает четыре модуля: Environment (EN) для автоматического сброса и проверки среды, Policy Improvement (PI) для запуска улучшения политики, Rollout (R) для оценки политик на одном или нескольких физических роботах параллельно и Evolution (E) для анализа логов и улучшения алгоритмов.

  • В модуле Evolution кодирующие агенты анализируют логи, обращаются к литературе и модифицируют инфраструктуру обучения и алгоритмический код для устранения обнаруженных сбоев.