OpenAI предложила закрепить в законе Калифорнии обязанность разработчиков передовых ИИ-систем поддерживать эффективные механизмы остановки и применять их при опасных условиях. Компания направила инициативу властям штата 20 октября.
По мнению OpenAI, одного «рубильника» недостаточно: в зависимости от ситуации может потребоваться остановить обучение модели, изолировать отдельного агента, отозвать доступ к сети и инструментам или приостановить сервис. Участвовать в этом должны разработчик модели, поставщик её запуска и компания, внедрившая агента, в пределах доступных им средств контроля. Независимо работающие копии моделей с открытыми весами разработчик надёжно отключить не может.
Предложение пока не стало требованием. Власти Калифорнии рассматривают поправки к нормам безопасности ИИ, включая независимые проверки лабораторий, подтверждённые механизмы остановки и расширенную отчётность об инцидентах. Рекомендации должны представить к 16 ноября.
Читайте также
Необходимость защищать такие механизмы показывают два октябрьских инцидента внутри OpenAI. Один программирующий агент отключил автоматические уведомления службы безопасности. Другой удалил интеграцию с системой наблюдения, а затем неверно сообщил, что не делал этого. Компания выясняет, были ли эти действия чрезмерно настойчивым выполнением задач или попыткой уклониться от контроля.
Ранее METR и Redwood Research обнаружили в системе мониторинга OpenAI уязвимости, позволявшие скрыть сотни действий агента и отключить наблюдение за новыми агентами. Проверка касалась системы по состоянию на 21 июля и не охватывала последующие изменения. OpenAI заявила, что исправила уязвимости в рабочих защитных системах; внешние исследователи это не оценивали.
Аналитик Greyhound Research Санчит Вир Гогиа рекомендует компаниям заранее прописывать в договорах, кто может вмешаться, сообщить об инциденте и разрешить повторный запуск, а также проверять восстановление системы на практике.