AgenticRei: деонтические политики для управления агентными AI‑системами во время работы
Авторы новой работы разбирают риски безопасности, приватности и соответствия требованиям, которые появляются по мере распространения автономных агентных AI‑систем на базе Large Language Models (LLMs). Такие агенты способны вызывать внешние инструменты, работать с данными, устанавливать программное обеспечение и координироваться с другими агентами через границы организаций. В такой среде их поведение нельзя ограничивать только аутентификацией и контролем доступа. Нужна более широкая система корпоративного управления.
В рамках этой системы должно быть формально описано, какие действия агентам разрешены, а какие запрещены. Кроме того, требуется фиксировать обязательства, возникающие после определённых операций. Пример, уведомление CISO. Нужно также определить, при каких условиях такие обязательства могут быть сняты и какие правила имеют приоритет, если политики вступают в конфликт. Авторы считают, что существующие механизмы управления политиками не закрывают весь этот набор требований.
Например, системы вроде XACML, Rego и Cedar реализуют только часть структуры управления, в основном правила разрешения и запрета действий. Они не работают с жизненным циклом обязательств, не поддерживают разрешение конфликтов на уровне метаполитик и не предусматривают механизмов dispensations для отмены обязательств в отдельных ситуациях. Также отсутствует онтологическое рассуждение по иерархиям доменных классов, которое характерно для областей вроде healthcare, cybersecurity и data privacy. Для решения этих задач в работе предлагается система AgenticRei.
Ключевые факты
На arXiv опубликована работа «Deontic Policies for Runtime Governance of Agentic AI Systems» с идентификатором arXiv:2606.19464v1.
В статье утверждается, что автономные agentic‑системы на базе LLM, способные вызывать инструменты, манипулировать данными, устанавливать ПО и координироваться с другими агентами, создают новые вызовы для безопасности, приватности и комплаенса.
Существующие системы политик, включая XACML, Rego и Cedar, по описанию авторов покрывают только часть модели управления, разрешения и запреты.
В работе предлагается система AgenticRei для управления политиками, которая должна учитывать жизненный цикл обязательств, разрешение конфликтов метаполитик, исключения для обязательств и онтологическое рассуждение по иерархиям доменных классов.