Towards Data Science описал RAG-конвейер для PDF с TOC-поиском и типизированными ответами
В серии материалов Enterprise Document Intelligence авторы рассказали об обновлённом RAG-конвейере для работы с PDF-документами. Система по-прежнему состоит из четырёх блоков: парсинг документа, парсинг вопроса, retrieval и генерация ответа. Но теперь каждый этап адаптирован под сценарии, в которых минимальный RAG перестаёт справляться с реальными корпоративными документами.
Как пишет Towards Data Science, парсинг документа больше не ограничивается плоским списком строк. Теперь он возвращает структуру с TOC, метаданными страниц и typed parsing_summary, где указаны тип документа, язык и краткое описание содержимого.
Парсинг вопросов тоже изменился. Пользовательский запрос преобразуется в структурированное описание: система исправляет опечатки по словарю корпуса и определяет формат ответа, например одиночное значение, список или таблицу.
В retrieval-секции TOC используется как отдельный сигнал релевантности. Небольшой LLM получает оглавление целиком, выбирает подходящие разделы, затем результат объединяется со страницами, найденными по ключевым словам. Генерация ответа теперь выдаёт типизированный результат с отдельными цитируемыми фрагментами для каждого элемента ответа и четырьмя индикаторами качества контекста. На их основе система решает, можно ли показывать ответ или нужен дополнительный проход.
Для демонстрации авторы использовали 15-страничную работу Attention Is All You Need и вопрос о вариантах positional encoding, специально введённый с двумя опечатками. В статье отмечается, что минимальный RAG-конвейер работал только с «чистыми» вопросами и PDF с корректным встроенным оглавлением. В корпоративной среде проблемы появлялись на документах без структуры, запросах с ошибками и задачах, где требовались типизированные ответы вместо обычной строки.
Ключевые факты
В статье описан конвейер из четырёх блоков: document parsing, question parsing, retrieval и generation.
Document parsing теперь включает TOC, метаданные страниц и typed parsing_summary с типом документа, языком и кратким описанием.
Retrieval использует TOC как отдельный источник релевантности: небольшой LLM выбирает подходящие разделы по оглавлению.
Для тестирования использовалась 15-страничная работа Attention Is All You Need и вопрос с двумя опечатками про positional encoding.