Как сообщает The Decoder, стартап World Labs, основанный Фэй-Фэй Ли, представил движок Real-to-Sim-to-Real (R2S2R). Он предназначен для обучения систем управления роботами в виртуальной среде. Технология получена от SceniX, которую World Labs приобрела в июле.
Система переносит роботов, датчики, окружение и демонстрацию задачи в интерактивный виртуальный мир. На основе одной реальной задачи она создает тысячи вариантов: меняет освещение, положение и количество объектов, окружение, физические свойства вроде трения, а также угол камеры. Точность проверяют, сравнивая наблюдения, перемещения объектов и результаты одной и той же последовательности действий в симуляции и реальности.
После виртуального обучения модели переносили на ALOHA и четыре другие роботизированные платформы. По данным World Labs, каждая модель работала по одному часу без вмешательства человека. Роботы укладывали кабель, перемещали пробирки, отделяли маркеры или карандаши от плотной кучи предметов.
В эксперименте по передаче кубика между манипуляторами ALOHA исследователи сравнили несколько моделей, включая GR00T N1.6 и π₀.₅. Их ранжирование в симуляции и реальности в основном совпадало как для известных, так и для ранее не встречавшихся положений кубика. Каждую контрольную версию оценивали в 2 000 симулированных и 100 реальных запусках.
Ключевые факты
Технология R2S2R получена World Labs после приобретения SceniX в июле.
Каждая модель работала по одному часу на ALOHA и четырех других роботизированных платформах без вмешательства человека.
Каждую контрольную версию оценивали в 2 000 симулированных и 100 реальных запусках.
В сравнении участвовали GR00T N1.6 и π₀.₅.