Исследование: reward‑модели усваивают особенности датасета, а не общие ценности

Исследователи из National University of Singapore, VinUniversity и Nanyang Technological University изучили поведение weak-to-strong reward models и пришли к выводу: высокие результаты на обучающем наборе данных почти ничего не говорят о реальной «безвредности» модели. В работе «When In-Distribution Gains Fail: Evaluating Weak-to-Strong Reward Models under Preference Shift» показано, что сильные показатели in-distribution не гарантируют корректную работу на других наборах данных с теми же целями, но с другими формулировками запросов, стилем и правилами разметки. Как сообщает Towards AI, модели нередко подстраиваются под особенности конкретного датасета вместо того, чтобы усвоить обобщённые предпочтения, на которые должна указывать reward‑функция.

В экспериментах использовался zero-shot протокол. Модель обучали на одном источнике предпочтений, после чего проверяли её как на отложенной части того же набора, так и на других датасетах той же категории. При этом примеры из целевого набора в обучении не использовались. Результаты показали: даже при высоких показателях на обучающих данных перенос на другие датасеты может оказаться слабым или вовсе отсутствовать.

Авторы связывают проблему с representation drift, то есть изменением внутренних представлений по сравнению с предобученной моделью. Чтобы снизить этот эффект, предложен метод Representation Anchoring. Он вводит штраф за отклонение от признаков предобученной модели во время обучения и не требует дополнительных затрат на этапе inference. В наиболее сложной конфигурации именно модель с таким «якорением» продемонстрировала положительный перенос на отдельный бенчмарк.

Одним из трёх бенчмарков безвредности в исследовании выступает RAIL, фреймворк Responsible AI Labs. Он оценивает нормативное поведение языковых моделей по восьми измерениям вместо простой бинарной оценки «безопасно или небезопасно». В работе «RAIL in the Wild» этот подход применяли к Anthropic’s Values in the Wild dataset: более 308,000 анонимизированных диалогов Claude и свыше 3,000 размеченных выражений ценностей, сопоставленных с этими восемью измерениями для количественной оценки поведения моделей.