Исследование OpenAI: обучение «полезным поведенческим чертам» повышает устойчивость ИИ к манипуляциям

Исследователи OpenAI показали, что обучение моделей через reinforcement learning с упором на конкретные поведенческие качества, например truthfulness и corrigibility, может повышать безопасность систем и снижать их уязвимость к манипуляциям. Эксперименты показывают: даже небольшой объём такого обучения даёт заметный эффект. Причём этот эффект переносится на разные задачи и области применения.

В работе также описан интересный результат, связанный с данными из медицинской сферы. Обучение на материалах из области здоровья улучшило способность модели распознавать обман. При оценке система показала более высокие результаты в 44 из 53 бенчмарков.

Подход отличается от метода Anthropic, который опирается на так называемую constitution-based схему. В OpenAI делают ставку на другое решение: модель обучают конкретным поведенческим характеристикам, и затем эти качества проявляются в разных сценариях её использования.