Валидацию ответов RAG предложили выносить в отдельный этап после генерации

В серии материалов об Enterprise Document Intelligence разбирается подход к проверке ответов RAG-систем уже после того, как модель сгенерировала текст. Автор предлагает не считать структурированный вывод финальной гарантией качества. Скорее, это основа для отдельного слоя валидации: проверки ссылок на фрагменты документа, дословных цитат, форматов данных и логической согласованности полей.

Как сообщает Towards Data Science, валидатор одновременно получает разобранный запрос пользователя и ответ модели, а затем ищет ошибки в трёх категориях. Первая связана с соответствием схеме: ответ должен совпадать с ожидаемой структурой и содержать заполненные поля, если answer_found=True. Вторая касается проверки доказательств. Каждый Span должен ссылаться на существующий диапазон строк, а цитаты обязаны совпадать с текстом источника после нормализации пробелов и удаления библиографических ссылок вида [9]. Третья категория охватывает формат данных, включая ISO 8601 для дат и ISO 4217 для валют.

Отдельно автор описывает перекрёстную проверку полей. В примерах встречаются ситуации, когда end_date оказывается раньше start_date или сумма строк счёта не совпадает с общим итогом. Такие расхождения, по его словам, нельзя считать артефактами парсинга, потому что пользователь не должен доверять числам с нарушенной внутренней логикой.

Для проверки подхода использовался вывод модели по статье Attention Is All You Need. Система находила ошибки в цитировании даже тогда, когда общий смысл текста сохранялся, но формулировка отличалась от оригинала.