Авторы Enterprise Document Intelligence предложили разделять ошибки RAG и «галлюцинации» моделей
В серии Enterprise Document Intelligence предложили иначе смотреть на ошибки в RAG-системах. Авторы считают, что многие неверные ответы появляются не из-за «галлюцинаций» модели, а из-за сбоев на этапах извлечения данных: при парсинге, формулировке запроса, поиске нужных фрагментов или в самом контракте генерации. Как пишет Towards Data Science, термин hallucination уместен только в тех случаях, когда LLM выдумывает факт без опоры на входные данные.
В материале разбирают семь шаблонов typed generation contract. Этот подход предполагает, что ответ модели оформляется не как свободный текст, а как структурированный объект Pydantic с полями для ссылок на источник, флагов достоверности и самооценки результата. Авторы предлагают воспринимать LLM как функцию заполнения схемы, а не как «оракул», который сразу выдает готовый ответ.
В качестве примера приводится вопрос о размере страхового платежа. Вместо обычного текстового ответа система должна возвращать структуру с числовым значением, валютой, единицей измерения и ссылкой на конкретную строку документа. Также отдельно отмечается, что вычисления и конвертацию значений лучше выносить из модели в Python-код. Это позволяет сохранить проверяемость и воспроизводимость результата.
Ключевые факты
Авторы описали семь шаблонов typed generation contract для разных форматов ответов.
В качестве выходного формата предлагается использовать объект Pydantic с цитатами, флагами достоверности и полями самооценки.
В примере со страховым платежом система возвращает структуру Amount(value=124.0, currency="USD", unit="month") со ссылкой на строку документа.
В статье отдельно упоминается правило decomposition для небольших моделей, позволяющее приблизить их результат к frontier-моделям.