Исследователи представили PolicyGuard, verifier в формате субагента для контроля соблюдения корпоративных политик LLM-агентами, которые выполняют действия через tool calls. Авторы работы отмечают: существующие подходы обычно работают как внешние safeguard-механизмы и блокируют отдельные действия. Однако в реальных сценариях многое зависит от полного контекста диалога, подтверждений со стороны пользователя и последовательности шагов.
Как пишет arXiv cs.AI (Artificial Intelligence), PolicyGuard получает тот же контекст диалога, что и основной агент. Система анализирует политику с учетом текущей беседы и формирует рекомендации для следующего ответа агента. Авторы выделяют три ключевых компонента для соблюдения политик: доступ ко всему контексту разговора, reasoning по политике и диалогу, а также remediation с учетом конкретной беседы.
В тестах на tau^2-BENCH airline систему сравнивали на моделях GPT-5.4, Claude Sonnet 4.6 и Gemini 2.5 Pro. Для каждой конфигурации провели четыре запуска. По итогам PolicyGuard увеличил показатель PASS4 на 12,0, 6,0 и 12,0 процентного пункта соответственно.
Ключевые факты
PolicyGuard представлен как субагент для проверки соблюдения политик LLM-агентами
Система использует полный контекст диалога, reasoning по политике и рекомендации для следующего ответа агента
Тестирование проводилось на tau^2-BENCH airline с моделями GPT-5.4, Claude Sonnet 4.6 и Gemini 2.5 Pro
PolicyGuard повысил показатель PASS4 на 12,0, 6,0 и 12,0 процентного пункта при четырех запусках для каждой конфигурации