Исследователи предложили D2R-RAG для исправления фактических ошибок в RAG при ограниченных ресурсах
Исследователи представили D2R-RAG, фреймворк для диагностики и исправления фактических ошибок в системах Retrieval-Augmented Generation. Он рассчитан на сценарии с ограничениями по задержке и VRAM, когда недоступны тонкая настройка моделей, внутренние сигналы модели или ресурсоемкие методы повышения качества.
Как пишет arXiv cs.AI (Artificial Intelligence), D2R-RAG анализирует наблюдаемые сигналы в запросе, извлеченных данных и сгенерированном ответе, после чего формирует интерпретируемые признаки сбоев. Затем система выбирает одно из корректирующих действий из небольшого набора вариантов, учитывая заданные вычислительные ограничения.
Авторы отмечают, что проблемы RAG нередко возникают из-за отсутствия релевантных данных или из-за того, что модель неправильно использует найденный контекст. В экспериментах на FEVER и HotpotQA D2R-RAG показал более высокую надежность по сравнению с недавними базовыми подходами. Кроме того, система продемонстрировала более выгодный баланс между точностью и эффективностью при разных вычислительных бюджетах.
Ключевые факты
D2R-RAG позиционируется как model-agnostic и resource-aware фреймворк для RAG
Система использует диагностику сбоев на основе сигналов из запроса, извлеченных данных и ответа модели
D2R-RAG выбирает корректирующие действия с учетом ограничений по задержке и VRAM
Эксперименты проводились на FEVER и HotpotQA, где подход показал лучший баланс между точностью и эффективностью по сравнению с недавними базовыми методами