Почему простое кэширование ответов в RAG ломается при многоязычной поддержке
Во время всплесков обращений в поддержку многие вопросы начинают повторяться: о возвратах и возврате средств, сроках доставки, правилах акций, доступе к аккаунту, политике поддержки. Для систем на базе RAG в этом есть и выгода, и риск. С одной стороны, повторяющиеся запросы позволяют экономить вычисления. С другой, ответы в поддержке должны опираться на проверяемые источники и корпоративные правила. Если одинаковый вопрос просто отдается из кэша, система не тратится на новый поиск и генерацию. Но стоит измениться контексту доказательств, и такой ответ может оказаться неверным.
Как пишет Towards AI, особенно заметной эта проблема становится в многоязычных системах. Один и тот же пользовательский запрос может появляться на английском, китайском или тайском. Однако безопасно переиспользовать готовый ответ можно лишь тогда, когда совпадает не только формулировка вопроса, но и контекст извлеченных данных. В прототипе авторы выделяют три критические границы: routing identity, evidence propagation и reuse eligibility.
Первый тип сбоя связан с routing identity, то есть с корректной привязкой запроса к нужному пространству поиска. Например, тайский индекс может фигурировать под разными именами, такими как idx_th и idx_th_bge. Когда названия не совпадают, становится трудно понять, из какого пространства были извлечены документы. В итоге ошибка выглядит как сбой поиска, хотя фактически проблема кроется в маршрутизации.
Два других сбоя относятся к доказательной базе и кэшированию. Метаданные найденных документов иногда не доходят до финального ответа, из-за чего оператор поддержки не видит, на какие источники опирается система. Есть и другая уязвимость. Типичная логика кэша, построенная на normalize(question), распознает лишь повторение текста вопроса. При этом она не проверяет условия выполнения, например версии prompt, model или index. В многоязычных RAG-системах это может привести к повторному использованию ответа из другого namespace или из старой конфигурации системы.
Ключевые факты
В прототипе безопасное повторное использование ответа в RAG зависит от трёх границ: routing identity, evidence propagation и reuse eligibility.
Пример ошибки маршрутизации: тайский индекс может фигурировать под разными именами, например idx_th и idx_th_bge.
Типичная схема кэша использует ключ normalize(question) и может возвращать ранее сгенерированный ответ без проверки контекста извлечённых данных.
Проверка reuse eligibility должна учитывать условия выполнения, включая версии prompt, model и index.