В Университете Решетнева разработали методику снижения «галлюцинаций» у нейросетей

Разработчики из Университета Решетнева предложили способ уменьшить «галлюцинации» у нейросетей, ситуации, когда модель уверенно выдает неверную или выдуманную информацию. В пресс‑службе вуза сообщили РИА Новости, что такую методику можно применять в образовании, на портале «Госуслуги», а также в медицине и юриспруденции.

В университете поясняют: сегодня проблему частично решают с помощью RAG‑систем (Retrieval‑Augmented Generation). Модель сначала ищет релевантные данные в базе знаний, затем формирует ответ на их основе. Это снижает вероятность ошибок, но полностью их не убирает. Сбои возникают из‑за опечаток, противоречивых запросов или неполноты источников.

Команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой изучила типичные сценарии «галлюцинаций» и создала их классификатор. На его базе появился автоматизированный пайплайн стресс‑тестирования: система генерирует тестовые запросы, сопоставляет ответы с эталоном и оценивает точность по специальным метрикам и семантическому сходству. Параллельно разработан прототип модуля мониторинга в реальном времени. Он логирует входящие запросы и контекст диалога, рассчитывает риск выдачи недостоверного ответа, присваивает модели балл уверенности и уведомляет оператора, если обнаружена ошибка или уверенность слишком низкая. В вузе подчеркивают, что методика не привязана к конкретной модели и может масштабироваться, от чат‑ботов для абитуриентов до госуслуг, медицинских и юридических помощников.