LeanGuard: лёгкий модерационный guardrail без chain-of-thought показывает сопоставимую точность
Исследователи усомнились в распространённой схеме модерации, где guardrail сначала строит chain-of-thought (CoT), а уже потом решает, допустим ли запрос или ответ. Обычно считается, что пошаговое рассуждение повышает качество решений. Но у этого подхода есть цена: система становится тяжелее и медленнее, потому что модель генерирует множество токенов перед финальным вердиктом. В реальных условиях это может быть проблемой. Guardrail иногда требуется работать быстро и даже запускаться прямо на устройстве, например на embodied robot.
Авторы проверили, действительно ли таким системам вообще нужно рассуждение. Они обучили лёгкий bidirectional encoder и guard с механизмом reasoning на одном и том же корпусе. Затем провели контролируемое сравнение: в одной версии просто убрали этап reasoning, остальные компоненты оставили без изменений. Как сообщает arXiv cs.AI (Artificial Intelligence), эксперимент показал, что цепочка рассуждений не улучшает точность модерации.
Получившуюся систему назвали LeanGuard. Модель label-only encoder размером 395M показала средний результат F1 82.90 ± 0.26 на публичных бенчмарках. По точности она сопоставима с guard, основанным на значительно более крупном decoder с reasoning. При этом LeanGuard делает только один прямой проход по входу длиной до 512.
Ключевые факты
В статье arXiv:2606.26686v1 предложен подход LeanGuard, лёгкий guardrail для модерации без генерации chain-of-thought перед вынесением решения.
В контролируемом сравнении на одном и том же корпусе удаление этапа рассуждения показало, что chain-of-thought не улучшает точность модерации.
Модель 395M label-only encoder достигает среднего F1 82.90 ± 0.26 на публичных бенчмарках.
LeanGuard сопоставим по качеству с reasoning guard, построенным на значительно более крупном decoder, используя один прямой проход по входу длиной до 512.