RAG: что это, как работает генерация с поиском и чем она отличается от дообучения

RAG (retrieval-augmented generation, по-русски — генерация с дополненной выборкой или генерация с поиском) — схема, в которой языковая модель отвечает не только по тому, что запомнила при обучении, но и по документам, найденным под конкретный вопрос. Сначала система ищет подходящие фрагменты в базе знаний, затем передаёт их модели вместе с вопросом.

Термин ввели авторы статьи «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» во главе с Патриком Льюисом: первая версия вышла 22 мая 2020 года, работу приняли на конференцию NeurIPS 2020. В ней модель с «параметрической памятью» — знаниями, зашитыми в веса, — соединили с «непараметрической»: векторным индексом Википедии.

Зачем это нужно, видно из устройства самих моделей. Знания модели заканчиваются датой обучения: у актуальных моделей Claude надёжные знания доходят до июня 2026 года. Внутренних документов компании — договоров, регламентов, переписки с клиентами — модель не видела вовсе. RAG закрывает оба пробела без переобучения: достаточно обновить базу.

Качество RAG почти целиком зависит от поиска: если нужный фрагмент не нашёлся, модель ответит по общим знаниям или ошибётся. Поэтому поиск по смыслу (векторный) обычно дополняют поиском по точным словам — он лучше находит артикулы, номера и редкие термины. В Yandex AI Studio такой гибридный поиск включён по умолчанию.

Anthropic 19 сентября 2024 года описала приём, который она назвала контекстным поиском: перед индексацией к каждому фрагменту дописывают короткое пояснение, из какого он документа и о чём. В тесте компании доля промахов упала на 49%, а с переранжированием — на 67%.

RAG берут там, где ответ должен опираться на конкретные документы, а не на общие знания модели:

• поддержка клиентов и сотрудников — бот отвечает по базе знаний, регламентам и инструкциям;
• поиск по договорам, технической документации и архиву переписки;
• аналитика и мониторинг — сводки по свежим публикациям с ссылками на источники;
• поиск в медиатеке — по фото, записям и видео, если эмбеддинги понимают не только текст.

В России готовые инструменты есть у «Яндекса». В Yandex AI Studio файлы загружают в поисковый индекс — до 10 000 файлов по 128 МБ, — сервис сам нарезает их на фрагменты, а индекс подключается к агенту как инструмент поиска. Инструмент AI Search, который компания представила 2 декабря 2025 года, ищет и в интернете, и по внутренним документам; среди сценариев «Яндекс» называет анализ финансовых рынков, мониторинг новостей и маркетинговые исследования. По данным компании, «Алиса» обращается к поиску «Яндекса» в 60% ответов.

Свежие примеры из нашей ленты касаются самого поиска. Google 6 октября 2026 года выпустила открытую модель эмбеддингов EmbeddingGemma 2 на 740 млн параметров: она переводит в один набор векторов текст, код, изображения, аудио и видео и рассчитана в том числе на RAG прямо на устройстве. В мае 2026 года инструмент File Search в Gemini API, который берёт на себя всю инфраструктуру RAG, научился искать по изображениям и указывать страницу документа, откуда взят ответ.

OpenAI в руководстве по точности моделей разводит подходы так: RAG чинит нехватку знаний — когда сведения устарели или закрыты, — а дообучение чинит поведение — неверный тон или формат. Подходы совмещают, но не вслепую: в примере OpenAI добавление RAG к уже дообученной модели снизило качество, потому что лишний контекст стал шумом.

Длинный контекст отнимает у RAG часть задач. У всех актуальных моделей Claude окно — 1 млн токенов, по оценке Anthropic это около 555 тыс. слов. Anthropic ещё в 2024 году советовала: если база знаний меньше 200 тыс. токенов, примерно 500 страниц, проще отправлять её в запрос целиком, а кэширование запросов снижает стоимость такого подхода до 90%. Для больших и часто меняющихся баз RAG остаётся дешевле: модель читает несколько фрагментов, а не всю базу.

Главная слабость RAG — он не проверяет, правдив ли найденный документ. Модель уверенно перескажет устаревший регламент или подложную страницу, если поиск поставил их наверх.

Для систем, которые ищут в интернете, этот риск растёт. Pew Research Center 20 августа 2026 года опубликовал исследование: признаки ИИ-авторства нашлись примерно у 10% англоязычных страниц в выборке июля 2026 года и у 35% датированных страниц, вышедших после запуска ChatGPT в ноябре 2022 года. Десять похожих страниц перестают быть десятью независимыми источниками.

В найденный текст могут быть спрятаны инструкции для модели — это промпт-инъекция, та же угроза, что у ИИ-агентов. Наконец, RAG по корпоративным документам должен учитывать права доступа: фрагмент, который сотруднику видеть нельзя, не должен попадать и в ответ модели.

• Эмбеддинг — числовой вектор, которым модель описывает смысл фрагмента; близкие по смыслу тексты получают близкие векторы.
• Векторная база данных — хранилище эмбеддингов с быстрым поиском ближайших.
• LLM, большая языковая модель — та часть RAG-системы, которая пишет ответ.
• Дообучение (fine-tuning) — дополнительное обучение модели на своих примерах, меняет её поведение.
• ИИ-агент — программа, которая сама решает, когда искать; поиск по базе знаний для неё — один из инструментов.
• MCP — протокол, через который такой поиск подключают к агенту.