Практика production‑RAG: семь уроков из эксплуатации системы с тысячами бизнес‑запросов

Собрать демонстрацию RAG можно за один день. Но когда система начинает обслуживать реальные бизнес‑запросы, быстро выясняется, что до стабильной работы еще далеко. На доводку и исправление ошибок уходят месяцы. Команда, которая в начале 2026 года вывела self-hosted AI‑платформу в production, описала проблемы, возникшие при обработке тысяч ежедневных запросов на разных языках и при работе с «живыми» базами данных. Как сообщает Towards AI, многие решения из учебных примеров в реальной эксплуатации показали себя значительно слабее.

Первая сложность связана с фиксированным размером фрагментов документов. Во многих руководствах предлагают делить тексты на куски по 512 tokens. На практике оказалось, что разным типам документов нужны разные стратегии. В юридических текстах такой размер часто разрывает связанные условия внутри длинных пунктов, и модель извлекает лишь часть нужного контекста. В руководствах по продуктам возникает другая проблема: в один фрагмент могут попадать несколько независимых разделов. В логах поддержки нередко разделяются описание проблемы и ее решение. После перехода к адаптивному chunking для разных типов документов точность ответов на юридические запросы выросла с 61% до 89%.

Второй урок касается поиска по векторному сходству. Семантический поиск хорошо находит похожие фрагменты текста, но заметно хуже работает там, где важны связи между объектами. Например, вопрос вроде «какие клиенты делали заказы выше $100 в прошлом месяце и одновременно оставляли жалобы» требует анализа отношений между сущностями. Чтобы закрыть этот пробел, команда добавила слой графа знаний на базе Neo4j параллельно с векторным хранилищем. Документы индексируются и как текстовые фрагменты, и как сущности со связями. По их данным, подключение графового слоя повысило точность ответов на запросы бизнес‑аналитики с 34% до 87%.

Разработчики также отмечают, что выбор модели эмбеддингов сильно влияет на результат. Изначально в системе использовалась модель OpenAI text-embedding-ada-002. Она хорошо работала для английского языка. Однако по мере эксплуатации стало ясно, что при масштабировании системы подбор модели требует отдельного внимания.