В серии материалов об Enterprise Document Intelligence разбирается подход к проверке ответов RAG-систем уже после того, как модель сгенерировала текст. Автор предлагает не считать структурированный вывод финальной гарантией качества. Скорее, это основа для отдельного слоя валидации: проверки ссылок на фрагменты документа, дословных цитат, форматов данных и логической согласованности полей.
Как сообщает Towards Data Science, валидатор одновременно получает разобранный запрос пользователя и ответ модели, а затем ищет ошибки в трёх категориях. Первая связана с соответствием схеме: ответ должен совпадать с ожидаемой структурой и содержать заполненные поля, если answer_found=True. Вторая касается проверки доказательств. Каждый Span должен ссылаться на существующий диапазон строк, а цитаты обязаны совпадать с текстом источника после нормализации пробелов и удаления библиографических ссылок вида [9]. Третья категория охватывает формат данных, включая ISO 8601 для дат и ISO 4217 для валют.
Отдельно автор описывает перекрёстную проверку полей. В примерах встречаются ситуации, когда end_date оказывается раньше start_date или сумма строк счёта не совпадает с общим итогом. Такие расхождения, по его словам, нельзя считать артефактами парсинга, потому что пользователь не должен доверять числам с нарушенной внутренней логикой.
Для проверки подхода использовался вывод модели по статье Attention Is All You Need. Система находила ошибки в цитировании даже тогда, когда общий смысл текста сохранялся, но формулировка отличалась от оригинала.
Ключевые факты
Серия Enterprise Document Intelligence строится вокруг четырёх компонентов: document parsing, question parsing, retrieval и generation
Валидатор проверяет соответствие ответа схеме, корректность ссылок Span и соответствие форматов ISO 8601 и ISO 4217
Для проверки цитат используется нормализация пробелов и удаление библиографических ссылок формата [N]
В примере cross-field проверки система фиксирует ошибку, где end_date 2024-12-01 предшествует start_date 2025-01-01