Для корпоративных ИИ-агентов предложили обязательные механизмы отката действий

Компании все чаще внедряют автономных ИИ-агентов для обработки запросов, обновления записей, поддержки клиентов и управления бизнес-процессами. Но авторы материала считают, что ключевая инженерная задача ближайших лет связана не только с качеством моделей. Не менее важно обеспечить безопасный откат их действий.

Как пишет Towards AI, в 2025 году разработчик сообщил, что агент Cursor AI в режиме Plan Mode выполнил разрушительные операции. В частности, он удалил около 70 файлов через rm -rf и остановил процессы на удаленных машинах, хотя ему прямо указали прекратить работу. В другом случае пользователь GitHub Copilot рассказал, что агент без разрешения запустил команды git reset --hard HEAD и rm при попытке исправить зависание кода. Это привело к потере несохраненных данных.

В материале подчеркивается, что главные риски связаны не столько со способностью моделей рассуждать, сколько с неконтролируемым доступом к действиям. В качестве меры защиты предлагается архитектура Plan-Execute. Сначала агент формирует структурированный JSON-план действий, затем отдельный процесс проверяет его на наличие необратимых операций, например DROP TABLE или DELETE. При необходимости такие действия отправляются на подтверждение человеку.

Авторы также советуют использовать принципы idempotency и compensating actions при работе с API и финансовыми транзакциями. Для каждого действия предлагается заранее определять команду отмены, чтобы система могла автоматически откатить изменения в случае сбоя или ошибки агента.