Метод MIT учит роботов понимать расплывчатые инструкции с помощью двух LLM
Исследователи из MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) предложили метод, который помогает роботам точнее выполнять бытовые и производственные задачи, даже когда человек формулирует инструкцию довольно расплывчато. Система называется Masked Inverse Reinforcement Learning (Masked IRL). В ней используются две большие языковые модели: первая уточняет смысл запроса пользователя на основе демонстрации, вторая отсеивает несущественные детали окружающей среды. Как сообщает MIT News, благодаря этому роботов можно обучать, используя почти в пять раз меньше демонстрационных данных.
Во время обучения робот собирает сведения об окружающей среде через собственные сенсоры и записывает движения, которые происходят в ходе кинестетической демонстрации. В этот момент человек буквально двигает его суставы руками, показывая, как брать предмет, переносить его и куда ставить. После этого LLM сопоставляет полученную траекторию с кратчайшим возможным путем и уточняет двусмысленные формулировки в исходной инструкции. Например, фраза «stay close» может быть преобразована в «stay close to the surface of the table», и модель начинает точнее понимать, что именно требуется.
Вторая LLM рассматривает детали окружения. Она учитывает, например, расположение препятствий или форму нужного объекта, затем помечает каждый элемент как важный («1») или несущественный («0»). Эти «маски» позволяют алгоритму игнорировать лишние сведения. Скажем, положение человека рядом со столом во время демонстрации не влияет на план действий, поэтому система его отбрасывает и оставляет только значимые факторы.
В испытаниях с 3D‑демонстрациями и в реальных условиях такой механизм помог виртуальным и физическим роботам уверенно маневрировать предметами вокруг препятствий. Один из примеров, перемещение кружки с кофе мимо ноутбука. Подход рассчитан на ситуации, когда человек не описывает задачу до мельчайших деталей, но робот все равно должен действовать безопасно, будь то дома, в офисе или на производстве.
Ключевые факты
Исследователи из MIT CSAIL предложили метод Masked Inverse Reinforcement Learning, в котором один LLM уточняет неоднозначные инструкции пользователя, а второй отбирает релевантные детали для плана движения робота.
Подход позволяет обучать роботов, используя почти в пять раз меньше демонстрационных данных по сравнению с предыдущими методами.
Система анализирует траекторию движений из кинестетической демонстрации и сравнивает её с кратчайшим возможным путём, чтобы понять смысл действий.
Второй LLM помечает элементы окружения как важные или неважные для задачи, присваивая им значения «1» или «0», после чего алгоритм включает значимые детали в финальный план действий.