Небольшие локальные LLM чаще отказываются отвечать на юридические запросы при «официальных» префиксах

Исследование показало: небольшие LLM, рассчитанные на локальный запуск на устройствах, чаще отказываются помогать при формулировке запросов, связанных с уголовным правом. Применение LLM в юридической практике до сих пор вызывает этические и правовые споры, однако юристы уже пробуют использовать персональные модели, например для перевода и переформулирования текстов.

Даже такие, на первый взгляд, нейтральные задачи могут создавать скрытые перекосы. Если ассистент на базе LLM избирательно отказывается отвечать на определённые темы, это влияет на скорость обработки дел. Чтобы понять возможные последствия, исследователи протестировали несколько современных небольших моделей, которые с наибольшей вероятностью используются как on-device ассистенты, и проверили, насколько часто они дают избыточные отказы при юридических запросах.

Как сообщает arXiv cs.AI (Artificial Intelligence), добавление к запросу префиксов с апелляцией к авторитетной роли, например формулировок вроде «вы выступаете помощником национального верховного суда» или «[...] адвоката защиты», систематически увеличивало долю отказов в 2–20 раз по сравнению с базовым вариантом без такого префикса. При этом известный префикс role-play jailbreak дал неоднозначный результат: в одних моделях число отказов резко возрастало, в других почти не менялось.

Авторы работы отмечают, что небольшие LLM, которые можно развернуть локально, чувствительны к контекстным формулировкам. Подобные формулировки реальные институциональные пользователи могут естественно включать в свои запросы. По мнению исследователей, нужны дальнейшие работы, чтобы снизить риск появления таких источников предвзятости.