В материале для подготовки AI Engineer разбирают сценарий с AI-агентом для операций: такая система может перезапускать сервисы, обновлять инфраструктуру и читать данные с мониторинговых панелей. Главный риск связан с prompt injection, при котором модель способна инициировать изменения в production-среде.
Как пишет Towards AI, самой надежной архитектурой для таких случаев считают внешнюю авторизацию перед каждым вызовом инструмента. В тексте отдельно подчеркивают, что ограничений в system prompt недостаточно, чтобы предотвратить опасные действия. Увеличение контекстного окна или дообучение модели тоже не формируют полноценную границу безопасности.
Авторы предлагают пропускать каждый запрос к инструментам через отдельный слой авторизации. Он проверяет действие, ресурс и права пользователя на соответствие политикам безопасности. По их оценке, даже если prompt injection сработает, неавторизованные вызовы не смогут попасть в production-системы. Это помогает ограничить ущерб от ошибок модели, вредоносных запросов и непредсказуемого поведения.
Ключевые факты
В примере AI-агент может перезапускать сервисы, обновлять инфраструктуру и читать monitoring dashboards
В качестве правильного ответа выбран вариант с авторизацией перед каждым выполнением инструмента
В тексте говорится, что stricter system prompt не способен надежно остановить небезопасные действия
Проверка должна сопоставлять действие, ресурс и права пользователя с политиками безопасности