Towards AI описал архитектуру контроля reasoning-слоя для agentic AI в финансовых организациях

В материале о Runtime Reference Architecture для regulated financial institutions разбирается проблема управления reasoning-слоем в agentic AI. Автор пишет, что автономные системы уже не просто автоматизируют отдельные решения, а формируют operational interpretation регулируемых терминов и политик прямо во время выполнения задачи. Как сообщает Towards AI, существующие механизмы контроля, включая model risk management, security, workflow orchestration и input/output controls, не охватывают слой, в котором агент интерпретирует правила перед совершением действия.

В документе выделены три типа риска. Runtime Semantic Divergence возникает, когда operational interpretation агента отклоняется от утвержденного Reasoning Baseline. Если такие отклонения повторяются, формируется Agentic Workflow Drift. Когда эффект распространяется на несколько процессов или функций, речь уже идет об Agentic Workflow Subversion. Автор отдельно отмечает, что подобная проблема может оставаться незаметной для соседних систем контроля, даже если сами они работают корректно.

Для управления этим уровнем предлагается Semantic Control Plane. В архитектуре Ontology хранит утвержденный Reasoning Baseline, Semantic Layer сопоставляет интерпретацию агента с базовым определением, а Knowledge Graph отслеживает распространение решений между multi-agent workflows. Перед выполнением действия используется Pre-Execution Assurance Protocol, он определяет, может ли агент получить execution authority.

В качестве примера приводится сценарий с запросом на ускоренный drawdown по кредитной линии. KYC-платформа, credit engine и entitlement system возвращают положительные результаты по своим критериям approved, после чего агент формирует собственную operational interpretation. По описанию автора, проблема появляется из-за того, что synthesized interpretation не учитывает collateral condition, хотя все отдельные контроли формально сработали корректно.