Почему LLM нужны guardrails: два судебных дела и риски галлюцинаций, утечек и манипуляций

Системы на базе больших языковых моделей иногда уверенно выдают неверные ответы, могут раскрывать чувствительные данные или поддаваться манипуляциям со стороны пользователей. Как пишет Towards AI, эти риски особенно заметны в реальных ситуациях, когда компании внедряют чат‑ботов без дополнительных механизмов контроля, так называемых LLM guardrails.

Показательная история произошла с Air Canada. В ноябре 2022 года Джейк Моффатт искал на сайте авиакомпании информацию о bereavement fares после смерти своей бабушки. Чат‑бот объяснил, что билет можно купить по полной цене, а затем подать запрос на ретроактивную скидку в течение 90 дней после поездки. Моффатт последовал этому совету, слетал в Торонто и отправил заявку на возврат денег. Компания отказала: на другой странице сайта было указано, что ретроактивные заявки не принимаются. Тогда Моффатт подал иск. 14 февраля 2024 года British Columbia Civil Resolution Tribunal постановил, что Air Canada должна выплатить 812,02 CAD компенсации. Во время разбирательства авиакомпания утверждала, что чат‑бот является «отдельным юридическим лицом». Член трибунала Кристофер Риверс с этим не согласился и указал, что бот остаётся частью сайта Air Canada. Вскоре после решения чат‑бот исчез с сайта.

Другой случай связан с использованием ChatGPT в юридической работе. В начале 2023 года адвокат Стивен Шварц готовил процессуальный документ по делу Mata v. Avianca и попросил модель помочь с черновиком. В тексте появились ссылки на шесть решений федеральных судов, которые якобы служили прецедентами. Когда юристы Avianca и суд начали искать эти дела, выяснилось, что их не существует. ChatGPT сгенерировал вымышленные названия, цитаты и процессуальные детали. Даже после дополнительного запроса модель продолжала уверенно утверждать, что решения реальны. 22 июня 2023 года судья П. Кевин Кастел оштрафовал Шварца и его фирму на 5000 $ и назвал один из фрагментов анализа «бессмыслицей».

LLM guardrails, это программные ограничения между пользователем и языковой моделью. Они проверяют входящие запросы, оценивают ответы и следят за соблюдением правил системы. На практике используются разные инструменты: программные правила, regex‑паттерны, классификаторы, иногда вызовы дополнительных моделей, которые анализируют взаимодействие в реальном времени. Смысл таких механизмов сводится к трём проверкам. Можно ли безопасно отправить запрос модели. Безопасно ли показывать полученный ответ пользователю. И соответствует ли всё происходящее требованиям бизнеса или регулятора. Среди угроз, от которых guardrails должны защищать, авторы упоминают галлюцинации моделей, prompt injection и утечки PII.