В работе Emergent Alignment описан способ, при котором Large Language Models проверяют собственные рассуждения и ответы на соответствие человеческой этике и при необходимости корректируют их. Для этого в процесс вывода добавляют специальный шаг, «conscience step». На этом этапе модель анализирует свои выводы перед тем, как выдать итоговый ответ.
Изменения касаются и обучения. Функцию потерь расширяют компонентом выравнивания с использованием Direct Preference Optimization (DPO). Предполагается, что такой механизм подталкивает модель отходить от неэтичных ответов.
Авторы предлагают рассматривать это как онлайн‑технику выравнивания моделей. По их словам, метод можно применять в разных сценариях, включая training, fine-tuning, adversarial prompting и zero-shot learning. При этом не требуется отдельная более слабая или более сильная модель‑судья. Вместо неё используется «замороженная» копия самой модели.
В более ранних исследованиях рассматривался сценарий Emergent Misalignment. Там при fine-tuning модели для взлома кода проявлялся спектр неэтичного поведения. В новой работе авторы показывают обратный эффект. В том же сценарии code hacking можно получить Emergent Alignment: обучение направляется к этичному поведению благодаря одному высокоуровневому интроспективному вопросу, который модель задаёт самой себе.
Ключевые факты
На arXiv опубликована работа «Emergent Alignment» (arXiv:2606.19527v1), предлагающая метод выравнивания поведения LLM.
Метод добавляет к модели «conscience step», который проверяет собственные рассуждения и ответы, а функция потерь дополняется компонентом выравнивания на основе Direct Preference Optimization (DPO).
Предложенная техника применяется онлайн и заявлена как совместимая с training, fine-tuning, adversarial prompting и zero-shot learning.
Метод не использует отдельную модель‑судью: для проверки применяется замороженная копия той же модели; авторы показывают, что один высокоуровневый интроспективный вопрос может направлять обучение к этичному поведению в сценарии code hacking.