Исследователи OpenAI показали, что обучение моделей через reinforcement learning с упором на конкретные поведенческие качества, например truthfulness и corrigibility, может повышать безопасность систем и снижать их уязвимость к манипуляциям. Эксперименты показывают: даже небольшой объём такого обучения даёт заметный эффект. Причём этот эффект переносится на разные задачи и области применения.
В работе также описан интересный результат, связанный с данными из медицинской сферы. Обучение на материалах из области здоровья улучшило способность модели распознавать обман. При оценке система показала более высокие результаты в 44 из 53 бенчмарков.
Подход отличается от метода Anthropic, который опирается на так называемую constitution-based схему. В OpenAI делают ставку на другое решение: модель обучают конкретным поведенческим характеристикам, и затем эти качества проявляются в разных сценариях её использования.
Ключевые факты
Исследователи OpenAI показали, что обучение с подкреплением на желаемых поведенческих качествах, включая truthfulness и corrigibility, работает в разных доменах.
Модель показала более высокие результаты на 44 из 53 бенчмарков.
Обучение на данных о здоровье также улучшило способность модели выявлять обман.
Подход отличается от конституционного метода обучения, используемого Anthropic.