Flexion Robotics показала платформу Reflect v1.0 для автономных задач гуманоидных роботов

Flexion Robotics представила Reflect v1.0, платформу робототехнического ИИ для выполнения длинных многоэтапных задач без вмешательства человека во время исполнения. В демонстрации гуманоидный робот получил одну инструкцию на естественном языке: забрал доставленную посылку со снеками, воспользовался лестницей и лифтом, распаковал коробку и убрал содержимое в ящик.

Как пишет Interesting Engineering, платформа объединяет управление миссией, планирование движений, контроль всего тела и runtime-систему. По данным Flexion, встроенная vision-language model работает как диспетчер миссии: отслеживает прогресс, анализирует окружение и при необходимости перестраивает план действий. Для движений и манипуляций система использует vision-language-action models, обученные на данных из реального мира, а также навыки на основе reinforcement learning.

Компания утверждает, что применение reinforcement learning повысило надежность системы в собственной оценке 16-шаговой миссии. Доля полного выполнения выросла с 38% у supervised fine-tuned model до 90% после внедрения обучения на нескольких уровнях платформы.

Flexion также сообщила, что роботы с Reflect могут переносить коробки весом от 100 г до 3,5 кг, пользоваться инструментами, работать с лифтами, многократно подниматься по лестницам и корректировать действия при ошибках, например после неудачного захвата объекта.