Towards AI описал подход к RAG, который учитывает устаревание фактов

В материале о retrieval-augmented generation (RAG) разбирают проблему, из-за которой языковые модели уверенно выдают устаревшие сведения. Речь о ситуациях, когда модель отвечает на вопросы о версиях библиотек, изменениях в релизах или существовании функций, опираясь на данные из обучающего набора, который уже не обновляется. Автор уточняет: модель не «лжет», а воспроизводит знания, зафиксированные на момент обучения.

Как сообщает Towards AI, RAG стал стандартным способом сократить количество таких ошибок. Суть подхода в том, что перед генерацией ответа модель получает актуальные данные из внешнего хранилища. Документы разбивают на фрагменты, преобразуют embedding-моделью в числовые представления и сохраняют в vector database. Когда поступает запрос, система находит наиболее близкие по смыслу фрагменты, top-K chunks, после чего добавляет их в prompt.

Такой базовый сценарий в тексте называют naive RAG. Автор пишет, что подход по-прежнему широко используют в production-системах, несмотря на критику и прогнозы о снижении интереса к технологии. Причина проста: поиск нужных данных во внешнем хранилище обходится дешевле, чем попытка каждый раз запускать модель на полном массиве информации компании.

(деятельность Meta признана экстремистской и запрещена в РФ)