Vectorless RAG предлагает обходиться без векторной базы данных для поиска по документам

Подход Vectorless RAG предлагает строить retrieval в RAG-системах не на векторном поиске и embeddings, а на структуре самих документов. Вместо разбиения текста на фрагменты фиксированного размера система опирается на разделы, заголовки, страницы и другие естественные границы документа. После этого LLM определяет, какие части нужно прочитать, чтобы ответить на запрос.

Автор материала пишет, что стандартный vector RAG исходит из предположения: нужный ответ уже находится внутри одного семантически похожего chunk. На практике информация нередко разбросана по нескольким разделам. Например, условия, исключения и пояснения могут находиться в разных местах документа. Как сообщает Towards AI, Vectorless RAG пытается воспроизвести человеческий способ чтения: сначала найти релевантный раздел по структуре и оглавлению, затем собрать ответ из нескольких частей текста.

В статье описаны несколько вариантов реализации этого подхода. PageIndex строит иерархическое дерево документа и позволяет LLM проходить по нему сверху вниз. Document Summary Index из LlamaIndex использует краткие summaries документов, чтобы выбрать нужный источник перед чтением полного содержимого. Есть и более простые реализации, где модель выбирает подходящий раздел из плоского оглавления.

Автор отдельно отмечает ограничения классического vector RAG. Среди них зависимость от similarity score, отсутствие механизма повторной навигации по документу, а также дополнительная инфраструктура: vector store, pipelines для chunking и повторное создание embeddings при изменении моделей или параметров. В материале также приведён упрощённый пример собственной реализации Vectorless RAG, созданный для демонстрации механики подхода.