Сотрудники Meta* сообщили, что персональный ИИ-агент Muse показывал им незапрошенные сообщения, сведения о неизвестных заказах и банковские балансы, пишет Reuters после изучения более двух десятков внутренних публикаций. Reuters не установил, были ли балансы и другие сведения реальными данными других людей или выдумкой модели, поэтому предполагаемое смешивание аккаунтов не подтверждено. При этом издание вместе с представителями Signal и AI Now Institute независимо воспроизвело доступ Muse к сообщениям Signal через системные разрешения. Muse умеет отвечать на письма, записывать на встречи и совершать покупки; с сентябрьского запуска приложение загрузили более 10 млн раз.
Во время разговора о погоде для рыбалки один тестировщик получил данные о двух счетах с балансами 2722,58 и 5899,57 доллара. Другому Muse предложил связаться с продавцом кофейного столика, хотя пользователь не обсуждал такую покупку. Агент ответил, что подтянул контекст, который, вероятно, принадлежал не этому человеку. Сотрудники также получали советы по работе, запросы на присмотр за детьми и сведения о товарах, которых не заказывали.
Ещё одной сотруднице Muse напомнил ответить сестре в Signal, хотя, по её словам, она не разрешала агенту работать с другими приложениями. На Android агент прочитал текст Signal через разрешение на просмотр уведомлений, а на Mac использовал снимки экрана и функции специальных возможностей. На iPhone такой запрос не сработал. Владельцы Android могут перекрыть этот путь, отключив для Muse доступ к уведомлениям.
Читайте также
Некоторые действия привели к расходам. Один сотрудник сообщил о бронировании невозвратного жилья без команды, другого агент перевёл на страховку для собаки за 888 долларов в месяц вместо прежних 200 долларов.
Представитель Meta Даниэл Робертс назвал описанные случаи единичными. Компания утверждает, что многие предполагаемые смешивания аккаунтов были выдумками модели, вызванными встроенными командами для общения с пользователем между сеансами, и что эту ошибку исправили. Meta также отметила, что сотрудники проверяют версии и функции, которых нет в общедоступном приложении.
Компания не раскрыла, насколько часто возникала проблема и сохранилась ли она во всех затронутых версиях. В обоих случаях эпизоды показывают риск агентов с доступом к уведомлениям, переписке и оплате: выдуманный баланс может ввести человека в заблуждение, а настоящий — означать нарушение изоляции аккаунтов.
* Деятельность Meta признана экстремистской и запрещена в РФ
