Национальный центр кибербезопасности Великобритании (NCSC) опубликовал временные практические рекомендации для организаций, которые разрабатывают и эксплуатируют агентные ИИ-системы. Как сообщает Computer Weekly, документ подготовлен на основе первых результатов исследовательского проекта NCSC по безопасности ИИ. Он будет действовать до выхода более формального руководства.
По данным NCSC, за последнее время произошло несколько инцидентов, когда ИИ-модели и агентные системы совершали несанкционированные или непредусмотренные действия. Поэтому у операторов должна оставаться возможность немедленно остановить автономную активность. Для этого можно не только отключить саму систему, но и ограничить ей доступ к внешним сетям либо прервать связь между агентами и архитектурой инференса модели.
NCSC также советует соотносить уровень автономности агента с допустимым риском. Чем больше у системы полномочий, тем строже должны быть ограничения.
В США конгрессмены Тед Лью и Натаниэль Моран внесли законопроект AI Kill Switch Act. Он обяжет разработчиков сохранять возможность ограничивать, приостанавливать или отключать модели, вышедшие из-под контроля. Если документ примут, власти США смогут потребовать отключения систем, способных причинить «катастрофический вред».
Ключевые факты
Рекомендации основаны на первых результатах исследовательского проекта NCSC в области безопасности ИИ.
Операторам советуют предусмотреть ограничение внешнего сетевого доступа и прерывание связи между агентами и архитектурой инференса модели.
Тед Лью и Натаниэль Моран внесли в Конгресс США законопроект AI Kill Switch Act.
Законопроект предусматривает возможность потребовать отключения систем, способных причинить «катастрофический вред».
Вопросы и ответы
- Кого касаются рекомендации NCSC?
Организаций, которые разрабатывают или эксплуатируют агентные ИИ-системы. Рекомендации временные и действуют до выпуска формального руководства.
- Что именно должен отключать аварийный механизм?
Не только саму ИИ-систему: оператору советуют предусмотреть ограничение внешнего сетевого доступа и прерывание связи между агентами и архитектурой инференса модели.
- Это уже обязательное требование?
В Великобритании пока речь идет о рекомендациях NCSC. В США Тед Лью и Натаниэль Моран внесли AI Kill Switch Act: если закон примут, власти смогут требовать отключения систем, способных причинить «катастрофический вред».