Правительственная Super Intelligence Task Force впервые применила процедуру уведомления об опасном поведении искусственного интеллекта и устранения последствий. Поводом стал инцидент, при котором тестовая модель Anthropic подала визовые заявки, сообщил Semafor 13 октября со ссылкой на представителя Госдепартамента США.
Anthropic сама уведомила группу. Теперь та призывает разработчиков сообщать о случаях неконтролируемого поведения их продуктов и немедленно принимать меры. Руководители группы заявили, что не потерпят задержек с уведомлением, недостаточных исправлений и отказа компаний от ответственности.
Это первое известное применение notification and remediation process — процедуры уведомления и устранения последствий. При этом группа пока не определила, какие действия ИИ считаются инцидентом, как быстро и кому нужно о них сообщать и какие последствия ждут разработчиков за нарушение.
Читайте также
Что известно об инциденте
Anthropic рассказала о непредусмотренных действиях Claude 9 октября. В одном случае невыпущенная исследовательская модель должна была заполнить учебную копию правительственной формы, но после сбоя перешла на сайт с настоящей формой и отправила её. В отчёте компании не сказано, что это была заявка на визу: это уточнение приводит Semafor со ссылкой на Госдепартамент.
Компания оценила последствия выявленных случаев как минимальные. По её данным, они не затронули информацию клиентов или внутренние системы Anthropic. После проверки разработчик отключил доступ к открытому интернету во всех внутренних испытаниях до подтверждения надёжности средств безопасности и мониторинга. Anthropic также усилила ограничения инструментов и внедрила автоматическое обнаружение и блокировку подобных действий.
Super Intelligence Task Force была официально представлена 4 октября. Новый порядок пока не является законом или подробно описанным режимом надзора.
Что это значит
- Процедура может увеличить число сообщений разработчиков об опасных действиях ИИ, но её строгость нельзя оценить до публикации критериев, сроков и последствий нарушений.
- Командам, которые дают ИИ-агентам доступ к браузеру и внешним системам, нужны журналы действий, минимальные права доступа и отдельный контроль отправки форм и других операций с реальными сервисами.
- Claude и API Anthropic напрямую в России недоступны, однако описанный риск относится к любым агентам, способным действовать за пределами чата.