Исследователи представили Janus для тестирования управления разрешениями в AI-агентах

Исследователи представили систему Janus для изучения того, как пользователи могут участвовать в управлении разрешениями AI-агентов, самостоятельно вызывающих инструменты и выполняющих действия от имени человека. Работа посвящена распределению ролей между агентом и пользователем при принятии решений, связанных с доступом и безопасностью.

Как пишет arXiv cs.AI (Artificial Intelligence), Janus состоит из двух компонентов: модульной агентной системы Janus-Core и фреймворка автоматизированной оценки Janus-Harness. Авторы создали концептуальную модель с несколькими осями проектирования пользовательского участия, затем реализовали шесть вариантов permission assistants и протестировали их в трех сценариях с тремя синтетическими респондентами.

Эксперименты показали, что участие пользователя критически важно для усиления приватности и безопасности. При этом AI-поддержка пользовательских решений может снижать когнитивную нагрузку. Исследователи отдельно отмечают, что при проектировании таких систем нужно учитывать реалистичное поведение пользователей, в том числе усталость от постоянных запросов разрешений. Ни один из протестированных подходов не оказался оптимальным во всех контекстах.