Как работает RAG и почему компании используют его вместо «памяти» LLM

Архитектура Retrieval-Augmented Generation (RAG) появилась как способ сократить количество ошибок в ответах больших языковых моделей. Как пишет Towards AI, проблема в том, что LLM, включая GPT-4 и Claude, обучаются на фиксированном наборе данных. После завершения тренировки модель не знает внутренние документы компании, новые регуляторные требования или актуальные записи клиентов, поэтому иногда выдает правдоподобные, но неверные ответы.

RAG сочетает поиск по корпоративным данным и генерацию ответа с помощью LLM. Вместо опоры только на знания, полученные во время обучения, модель сначала находит релевантные фрагменты документов, а затем формирует ответ на их основе. Такой подход позволяет показывать и ссылки на конкретные документы и отрывки, из которых собран ответ.

В материале отмечается, что особенно активно RAG используют банки, медицинские организации и юридические компании, где ответы без подтверждаемого источника могут создавать риски. Типичный RAG-конвейер включает загрузку документов, их разбиение на фрагменты и преобразование этих фрагментов в векторные представления для дальнейшего поиска. Авторы отдельно подчеркивают: ошибки на этапе разбиения документов могут ухудшать качество ответов, даже если сама модель работает корректно.