Почему AI‑агентам нужен «control plane» перед доступом к критическим системам
По мере того как AI‑агенты переходят от советов к реальным действиям внутри корпоративных систем, фокус безопасности постепенно смещается. Раньше в основном говорили о «безопасности модели», теперь на первый план выходит безопасность исполнения. Агент принимает решения, опираясь на пользовательские инструкции, внешний контекст, результаты работы инструментов и даже на потенциально вредоносные данные, после чего выполняет команды уже в реальной инфраструктуре. Как пишет Towards AI, именно этот момент, когда рассуждение превращается в действие, радикально меняет модель риска.
У чат‑ботов основная проблема обычно сводится к неверному ответу. У AI‑агентов ситуация другая: риск связан не с текстом, а с действиями. Агент может сгенерировать ошибочную shell‑команду, изменить конфигурацию облака, открыть доступ не тому пользователю, удалить данные или отправить чувствительную информацию во внешнюю систему. При этом сам агент не обязательно выступает «злоумышленником». Он может действовать на основе отравленных источников, например веб‑страницы, документа, логов, письма, сообщения в Slack или тикета поддержки, где скрыта вредоносная инструкция.
Есть и другая проблема, избыточные права. На ранних этапах разработки агентам нередко выдают широкий доступ: к терминалу, файловой системе, браузеру, API token или облачному аккаунту. Это делается просто для того, чтобы демонстрация работала без ограничений. В итоге агент получает возможность выполнять команды без тех же механизмов контроля, которые обычно применяются к людям или автоматизированным скриптам.
Автор предлагает разделять рассуждение и выполнение действий через отдельный уровень, так называемый control plane для AI‑агентов. Такой слой должен анализировать и классифицировать предложенное действие до его выполнения, проверять подлинность агента и его разрешения (authentication и authorization), а также контролировать соблюдение принципа least privilege. В описанной схеме каждое действие проходит несколько этапов: классификация, ограничения, объяснение, одобрение, выполнение и аудит.
Ключевые факты
В примере проверки действий агент может предложить выполнить 10 команд, 3 вызова API и 2 изменения файлов, которые должен оценить человек перед одобрением.
AI‑агенты могут получать доступ к терминалу, файловой системе, браузеру, API token и облачному аккаунту в ранних реализациях.
Возможные последствия ошибочных действий агента включают выполнение shell‑команды, изменение конфигурации облака, удаление данных или отправку чувствительной информации во внешнюю систему.
Предложенная модель управления действиями включает этапы: классификация, ограничения, объяснение, одобрение, выполнение и аудит.