Исследователи MIT применили generative AI для повышения точности «беспроводного зрения» через препятствия
Исследователи MIT предложили метод, который применяет generative AI для улучшения систем беспроводного «зрения», способных обнаруживать объекты за преградами. Подход использует беспроводные сигналы, проходящие через поверхности и отражающиеся от скрытых предметов. По отражённым сигналам система сначала собирает частичную реконструкцию формы объекта, затем специально обученная generative AI‑модель достраивает недостающие части. В результате повышается точность восстановления формы, а роботам становится проще надёжно захватывать и перемещать предметы, которые не видны напрямую.
Исследователи также показали расширенную систему, способную реконструировать целую комнату вместе со всей мебелью. Она опирается на беспроводные сигналы от одного стационарного радара; те отражаются от людей, перемещающихся по помещению. Такой подход решает проблему многих существующих методов, где датчик должен быть установлен на мобильном роботе и ездить по комнате для сканирования. При этом, в отличие от некоторых камерных решений, сохраняется приватность людей.
Ранее группа Adib уже демонстрировала, что millimeter wave (mmWave) сигналы можно использовать для реконструкции скрытых 3D‑объектов, например потерянного кошелька под стопкой вещей. Эти волны применяются в Wi‑Fi, проходят через препятствия вроде drywall, plastic и cardboard и отражаются от скрытых предметов. Однако из‑за specular‑отражения значительная часть поверхности остаётся «невидимой» для датчика. Новая работа закрывает этот пробел с помощью generative AI. Авторы исследований: Fadel Adib, Laura Dodds, Maisy Lam, Waleed Akbar, Yibo Cheng, Kaichen Zhou и Sayed Saad Afzal; две статьи будут представлены на IEEE Conference on Computer Vision and Pattern Recognition.
Ключевые факты
Исследователи MIT разработали метод, который использует отражённые беспроводные сигналы и генеративную модель ИИ для восстановления формы скрытых объектов.
Система строит частичную реконструкцию объекта по отражённым сигналам и затем заполняет недостающие части формы с помощью специально обученной генеративной модели.
Расширенная версия системы может реконструировать целую комнату и мебель, используя беспроводные сигналы от одного стационарного радара, отражающиеся от движущихся людей.
Две научные работы об этих методах представлены на конференции IEEE Conference on Computer Vision and Pattern Recognition; среди авторов, Fadel Adib, Laura Dodds и Kaichen Zhou.