Nvidia протестировала GR00T 2 на 50 задачах, которых целевой робот раньше не выполнял, но которые встречались в видео людей или данных других машин. Средняя успешность выросла с 40% без дополнительных примеров до 95% после пяти демонстраций на задачу и 30-минутного дообучения на одной видеокарте RTX 5090. Пять демонстраций занимали менее трёх минут данных на задачу.
GR00T 2 — модель управления роботами, которая учится по видео с действиями людей и данным других машин, а затем адаптируется к новой задаче на целевом роботе.
До дополнительного обучения модель хотя бы раз справилась с 40 из 50 задач, а после него прошла все попытки в 37 задачах.
Читайте также
GR00T 2 получает недавнее видео с камер, текстовую инструкцию и данные о состоянии робота, а затем одновременно прогнозирует будущие кадры и последовательность движений. Машина выполняет часть действий, собирает новые наблюдения и повторяет цикл. По замыслу разработчиков, прогноз изменения сцены помогает модели учитывать физический результат движения, а отдельные компоненты переводят общий план в команды для конкретных рук и захватов.
Один из показательных тестов связан с переносом навыка между разными устройствами. Сборку игрушечного самосвала демонстрировали ручным захватом UMI, после чего роботизированная рука YAM с другим захватом выполняла задачу успешно в 60% попыток. В другом опыте двурукий робот Dexter учился лабораторным процедурам по записям людей: при укладке фильтровальной бумаги в воронку он справился в 13 из 20 попыток без показов этой процедуры непосредственно на роботе.
Для человекоподобного Unitree G1 компания подготовила уменьшенную версию GR00T 2 Turbo. Она запускается на встроенном модуле Jetson Thor и выдаёт очередное предсказание за 124 мс. В тестах Nvidia робот под управлением Turbo подал попкорн во всех 48 попытках и убрал со стола разные предметы в 93% случаев, одновременно управляя ходьбой, равновесием и руками.
В тесте для адаптации к одной задаче модели требовалось менее трёх минут записей с пятью демонстрациями и 30 минут дообучения. Это позволяет переносить навыки из общих видео и данных других роботов без отдельной большой коллекции записей для каждой машины. Показатели получены Nvidia во внутренних испытаниях на 50 задачах.
Nvidia также открыла 100 тысяч часов видео из набора Human-1M, использованного при обучении.
