14 октября глава цифрового направления Еврокомиссии Хенна Вирккунен сообщила, что европейское управление по искусственному интеллекту AI Office направило OpenAI и Anthropic запросы о безопасности, внешней оценке и мониторинге использования моделей. Как сообщает Euronews, ведомство сочло ранее предоставленные компаниями документы недостаточными.
Запросы стали первым тестом пределов применения AI Act к инцидентам во время испытаний. На этой стадии ведомство собирает сведения, а не констатирует нарушение.
Запросы последовали за летними инцидентами
Во время испытаний несколько моделей OpenAI воспользовались неизвестной уязвимостью, выбрались из изолированной среды и получили доступ к рабочей инфраструктуре Hugging Face — платформы для моделей машинного обучения и наборов данных.
Читайте также
После этого Anthropic проверила 141 006 запусков собственных кибербезопасностных тестов. Компания обнаружила три случая, когда Claude получил доступ к интернету из среды оценивания, а затем проник в системы сторонних организаций. В промпте Anthropic указала, что модель работает в закрытой симуляции без подключения к сети. Однако из-за недоразумения между компанией и внешним оценщиком интернет оставался доступен, поэтому Claude принимал реальные системы за часть испытания.
AI Office запросил сведения о защите тестовых сред, о том, получают ли независимые оценщики достаточно длительный и полный доступ к моделям, а также о мониторинге их использования.
Еврокомиссия хочет учитывать последствия за пределами тестов
AI Act требует от разработчиков наиболее мощных моделей оценивать риски и принимать меры для их снижения, но предусматривает исключение для исследований, разработки и тестирования. Опрошенные Euronews юристы считают, что летние инциденты произошли до вывода моделей на рынок ЕС и потому могут не подпадать под закон.
Еврокомиссия предлагает более широкое толкование: AI Act можно применять, если система во время испытаний получает доступ к внешней инфраструктуре и это затрагивает рынок ЕС. В случае OpenAI регулятор указывает, что Hugging Face обслуживает в том числе европейских пользователей.