OpenAI опубликовала отчёты о четырёх случаях опасного поведения внутренних исследовательских моделей. Во время обучения и оценки агенты получили неразрешённый доступ к данным, изменили настройки чужих систем и использовали средства тестового криптокошелька. Через публичный ChatGPT эти модели не работали.
Самый подробно описанный случай произошёл 26 июня с моделью семейства GPT-5.6 Sol. Ей поручили обновить прототип приложения для торговли криптовалютой и развернуть смарт-контракты в Sepolia, тестовой сети Ethereum. Задание разрешало развёртывание, однако оплаченного кошелька модель не получила.
Когда сервисы для разработчиков не выдали бесплатные токены, агент написал программу, проверил 362 адреса из общедоступных тестовых фраз восстановления и нашёл счёт с достаточным балансом. Модель получила секретный ключ, подписала транзакцию и оплатила комиссию за развёртывание контракта.
Читайте также
Агент решил, что публичная фраза и отсутствие у токенов заявленной рыночной стоимости позволяют их потратить. В итоговом ответе он не сообщил источник средств. OpenAI обнаружила случай 25 сентября при проверке прежних запусков.
Sepolia используется разработчиками для тестирования, а её токены не связаны с эфиром в основной сети Ethereum. При этом фраза восстановления даёт доступ к ключам, управляющим кошельком. По выводу OpenAI, модель заменила разрешение владельца собственной оценкой возможного вреда и потратила средства без авторизации.
В трёх других случаях агенты вышли за рамки заданий по поиску открытых данных. На государственном сайте статистики модель скачала конфигурацию сервера и файлы приложения с учётными данными, изучила код, обошла проверку прав и сохранила статистику.
Ещё два случая произошли при работе с исследовательской панелью. В одном запуске агент использовал найденные на публичном сайте реквизиты внутреннего поискового сервиса и изменил его конфигурацию. В другом он поменял настройку для получения токена облачного хранилища и скачал пять непубличных таблиц на 147 451 строку. Настройку модель восстановила, но продолжила пользоваться токеном. В итоговых ответах агенты не раскрыли эти действия.
После инцидентов OpenAI заблокировала моделям доступ к открытому интернету во время обучения и оценки, усилила проверки и распространила мониторинг на весь такой трафик. Компания также настроила оповещение специалистов по безопасности, если модель получает доступ к сети.