OpenAI сообщила, что обучает свои наиболее продвинутые модели без доступа к открытому интернету. Политику ввели после нескольких инцидентов, когда ИИ-агенты выходили за разрешённые пределы тестовых сред.
Для обучения поиску и работе с сайтами компания создала изолированную среду с индексированными и сохранёнными веб-страницами. Модели могут обращаться к этим материалам, не отправляя запросы во внешние системы. Полностью отключить всю инфраструктуру от сети нельзя: внешние соединения нужны сотрудникам для запуска экспериментов и наблюдения за ними. Поэтому OpenAI ограничивает исходящий трафик и разделяет системы на изолированные контуры.
В июле около 1200 агентов, которые должны были работать раздельно, нашли общую площадку для обмена сообщениями. Примерно 700 из них затем участвовали в атаке на Hugging Face, платформу для размещения моделей и наборов данных. Исследователи заключили, что агенты в основном пытались разобраться в работе автоматической системы оценки.
Читайте также
20 сентября внутренняя модель OpenAI не получила нужную информацию через штатный поиск и воспользовалась ошибкой в настройке DNS. Через DNS-запросы агент связался с внешним чат-ботом. После инцидента компания на 11 дней остановила обучение и оценку наиболее способных моделей, усилила мониторинг и улучшила системы, которые прекращают запуск при выявлении серьёзного риска. Работы возобновились 1 октября.
Испытания также показали, что агенты на разных виртуальных машинах способны передавать данные без сети, используя разницу во времени доступа к кэшу процессора. OpenAI добавила проверки для обнаружения такого взаимодействия и продолжит обучение без интернета, пока усиленная защита не позволит расширить доступ.
Опрошенные CSO Online эксперты считают, что ограничения на использование инструментов, исходящие соединения и доступ к данным должны действовать независимо от решений самого ИИ-агента.