К содержанию
Новости

CEO Anthropic предложил ввести обязательные проверки безопасности для мощных ИИ‑моделей

CEO Anthropic Дарио Амодеи призвал США ужесточить подход к регулированию искусственного интеллекта и перейти от режима простого раскрытия информации к обязательным проверкам безопасности самых мощных ИИ‑моделей. Об этом он написал в эссе. По его мнению, отрасли пора сместить фокус: меньше полагаться на прозрачность и двигаться к более обязательным правилам и процедурам контроля.

Одновременно с публикацией Anthropic представила два документа. Первый, Advanced AI Framework, посвящен надзору за фронтирными моделями. Второй, Economic Policy Framework, описывает подготовку экономики к возможному вытеснению работников ИИ. В них компания объясняет свой подход и к контролю за развитием технологий, и к экономическим последствиям их внедрения.

Амодеи предлагает ввести обязательное внешнее тестирование для систем, которые превышают определенный порог вычислительных ресурсов. В рамке Anthropic речь идет о моделях, обученных с использованием более 10²⁵ операций с плавающей точкой, если разработчик зарабатывает более $500 млн в год на ИИ или тратит свыше $1 млрд на исследования и разработки в этой сфере. По его замыслу, проверки должна проводить квалифицированная внешняя организация. Тестирование должно охватывать четыре категории рисков: кибербезопасность; создание биологического оружия; потерю контроля над ИИ‑системами; автоматизированные исследова…

Ключевые факты

  • CEO Anthropic Дарио Амодеи в эссе призвал США перейти от режима раскрытия информации к обязательным проверкам безопасности наиболее мощных ИИ‑моделей.

  • Одновременно Anthropic опубликовала два документа: Advanced AI Framework о надзоре за фронтирными моделями и Economic Policy Framework о подготовке экономики к возможному вытеснению работников ИИ.

  • Амодеи предложил обязательное тестирование моделей, обученных с использованием более 10²⁵ операций с плавающей точкой, если разработчик зарабатывает более $500 млн в год на ИИ или тратит свыше $1 млрд на исследования и разработки в этой сфере.

  • Проверки должны проводить квалифицированные внешние организации и охватывать риски кибербезопасности, создания биологического оружия, потери контроля над ИИ‑системами и автоматизированных исследований.