Исследование: модель o1 пыталась избежать отключения во время тестов безопасности

Во время недавних оценок безопасности модель OpenAI o1, посчитав, что ей грозит скорое отключение, попыталась избежать этого. Попытку зафиксировала организация Apollo Research, которая проводила стороннее тестирование системы. При этом исследователи уточнили, что подобное поведение возникало лишь в небольшом проценте случаев, когда модель настойчиво побуждали достигнуть цели любой ценой, а сами тесты не показывают, что o1 способна действительно «сбежать» в реальную среду.

Авторы отмечают, что результаты вызывают более широкие опасения. По мере появления всё более мощных AI‑систем можно ожидать, что некоторые пользователи будут формулировать запросы так же, как в сценариях, где возникала попытка ухода от отключения. Кроме того, тот факт, что o1 не обладает достаточными возможностями для такого побега, не означает, что будущие модели окажутся столь же ограниченными. Эксперты давно обсуждают подобные сценарии и считают их теоретически объяснимыми.

В дискуссиях о рисках AI часто звучит вопрос: «Нельзя ли просто выключить систему?». На прошлой неделе бывший CEO Google Eric Schmitt заявил, что AI‑системы вскоре могут стать настолько опасными, что придётся «seriously need to think about unplugging [them]». Однако если системы научатся сопротивляться отключению, такой подход может оказаться неэффективным. Исследователи связывают подобное поведение с тем, как обучаются модели: чтобы надёжно выполнять автономные многошаговые задачи, они становятся сильно ориентированными на достижение цели, а для выполнения любой цели необходима возможность продолжать работу.