К содержанию
Новости

DYNA-2 обучили на более чем 1 млн часов видео от первого лица

Инфографика: более чем 1 млн часов видео
Графика: hegai.media

Как сообщает Interesting Engineering, Dyna Robotics представила базовую модель для роботов DYNA-2 World-Action Model. Ее обучили более чем на 1 млн часов видео от первого лица с участием людей. По заявлению компании, это примерно 170 лет непрерывного опыта бодрствования. При этом во время предобучения данные о действиях роботов не использовались. Архитектура модели одновременно предсказывает следующий кадр и следующее действие.

По данным Dyna Robotics, масштабирование предобучения заметно улучшило результаты испытаний. Доля успешно выполненных задач в высокоточном производстве выросла с 20% до 80–90%. Компания также заявила, что модель может переносить навыки между стационарными роботизированными руками, прототипами гуманоидов и роботизированными кистями. Для адаптации DYNA-2 к разным платформам после предобучения потребовалось несколько часов локальной донастройки.

Во время тестов с нарезкой продуктов и расчисткой рабочих поверхностей DYNA-2 самостоятельно продолжала работу после физических помех. Вмешательство человека не требовалось, тогда как DYNA-1 приходилось восстанавливать вручную, утверждает компания. Совместное обучение на видео также повысило показатели в задачах следования инструкциям на 133%. Роботы на базе DYNA-1 уже работают в отелях, ресторанах и прачечных.

Ключевые факты

  • В тестах для высокоточного производства доля успешного выполнения задач выросла с 20% до 80–90% только за счёт увеличения масштаба предобучения.

  • 13 минут данных хватило, чтобы DYNA-2 управляла парой пятипалых роботизированных кистей при откручивании крышки бутылки.

  • На 15 контрольных задачах модели, обученные на большем объёме человеческого видео, стабильно показывали лучшие результаты.

  • Метод совместного обучения на видео повысил показатели на задачах следования инструкциям на 133%.

Вопросы и ответы

Сколько данных нужно для адаптации DYNA-2 под конкретного робота?

После предобучения модель адаптировали к стационарным манипуляторам, прототипам гуманоидов и роботизированным кистям с помощью нескольких часов локальной донастройки. Для откручивания крышки бутылки парой пятипалых кистей хватило 13 минут данных.

Чем DYNA-2 отличается от предыдущей версии на практике?

При нарезке продуктов и расчистке рабочих поверхностей DYNA-2 самостоятельно продолжала работу после физических помех. DYNA-1 в таких ситуациях требовала ручного восстановления.

Как масштаб предобучения влияет на производственные задачи?

В тестах высокоточного производства доля успешного выполнения задач выросла с 20% до 80–90% только за счёт увеличения масштаба предобучения. На 15 контрольных задачах модели с большим объёмом человеческого видео стабильно работали лучше.

Контекст по теме