Паттерн Arbiter: как LLM может выбирать нужную страницу в RAG после этапа поиска
В системах Retrieval-Augmented Generation один из практических вопросов звучит довольно приземленно: как выбрать самый подходящий документ из набора найденных кандидатов. Подход под названием Arbiter Pattern предлагает простое решение. Финальное решение о выборе передается самой языковой модели на последнем этапе retrieval.
Метод строится вокруг одного вызова LLM. Модель получает набор найденных страниц, после чего ранжирует их и одновременно объясняет свой выбор. На выходе формируется один структурированный объект с типизированными полями, где зафиксировано решение модели.
Такой формат удобен не только для определения наиболее релевантной страницы, которую затем используют в RAG. В объекте остается и явное объяснение выбора. Как пишет Towards Data Science, этот результат можно рассматривать как проверяемое решение, которое при необходимости аудитор способен разобрать и обосновать.
Ключевые факты
Материал входит в серию Enterprise Document Intelligence и обозначен как Vol.1 #7C.
В описанном подходе один вызов LLM ранжирует кандидатов страниц и возвращает причины выбора.
Результатом работы является один типизированный объект, который может быть использован для аудита решения.
Статья «Letting an LLM Pick the Right RAG Page: The Arbiter Pattern at the End of Retrieval» опубликована на Towards Data Science.