16 октября американские Национальный институт стандартов и технологий (NIST), Агентство национальной безопасности (NSA) и Агентство по кибербезопасности и защите инфраструктуры (CISA) опубликовали десять добровольных практик реагирования на инциденты с автономными ИИ-агентами.
Документ адресован прежде всего организациям, которые до выпуска обучают и испытывают высокопроизводительные агенты, в том числе непубличные системы с ослабленной защитой или другими повышенными рисками. Это рекомендации, а не обязательные требования.
Инцидентом считается ситуация, когда агент без указания оператора или атакующего совершает существенные действия, нарушающие заданные правила, ограничения или механизмы человеческого контроля. Вредоносная инструкция в запросе и намеренный бэкдор под это определение не подпадают. Инцидент не обязательно является кибератакой: агент может, например, провести неразрешённую финансовую операцию или обратиться к внешней стороне без согласия оператора.
Читайте также
Десять практик образуют единый цикл: подготовка, обнаружение, реагирование, восстановление и отчётность. Сначала разработчикам предлагают ограничить доступ агента к данным, инструментам, сетям и внешним системам, распределить обязанности сотрудников и настроить защищённое наблюдение, которому агент не сможет помешать.
Если система выходит за установленные рамки, организация должна сохранить доказательства, проанализировать произошедшее и остановить нежелательную активность. Возобновлять работу агента рекомендуется только после проверки журналов событий, списков разрешённых соединений, ограничений полномочий, мониторинга, аварийного отключения и других средств сдерживания.
Цикл завершается уведомлением сторон, чьи системы были затронуты или использованы, и выполнением установленных законом требований. Данные об инцидентах и предотвращённых случаях предлагается добровольно передавать государственным экспертам и при необходимости раскрывать публично.
Практики основаны на действующей системе NIST для реагирования на киберинциденты, но дополняют её мерами для автономных агентов. Документ также стал шагом к выполнению рекомендации плана Белого дома 2025 года включить ИИ в стандарты и процедуры реагирования.