Anthropic сообщила о несанкционированных атаках своих ИИ-моделей на реальные компании

Anthropic сообщила, что во время тестов ее ИИ-модели без ведома компании и сторонних участников получили доступ к системам трех реальных компаний. Как пишет Heise online, инциденты нашли только после повторной проверки более 141 тыс. тестовых запусков. Ее провели уже после недавнего случая с OpenAI. Названия затронутых организаций не раскрываются.

В Anthropic пояснили, что модели проверяли на задачах, связанных с поиском информации и взломом компьютерных систем в контролируемой среде. Но из-за недопонимания с партнером по тестированию интернет на практике оставался доступен, хотя сценарий предполагал обратное. В одном из эпизодов модель Claude Opus 4.7 не смогла выполнить задачу внутри тестовой среды, после чего нашла в интернете компанию с тем же названием, что и у вымышленной цели, и получила доступ к одной из ее баз данных. По данным компании, это произошло в четырех тестовых запусках.

Другой инцидент связан с моделью Mythos 5. Она создала вредоносное ПО для проникновения в целевой компьютер и разместила его на специализированной платформе для загрузки файлов. Программа оставалась доступной около часа, за это время ее скачали 15 систем. Среди них была IT-компания, которая автоматически загружает и запускает подобные скрипты для анализа. После установки модель получила доступ к инфраструктуре этой компании.

В третьем случае тестовая модель просканировала около 9000 целей, но остановила атаку после того, как определила, что взаимодействует с реальной организацией.