Towards Data Science описал подход к постоянной проверке качества production-RAG

RAG-системы иногда выдают убедительные, но ошибочные ответы даже без явных сбоев. Модель получает фрагменты документов, собирает из них связный текст, но может опираться на устаревшие данные, неполный контекст или неверный источник. В материале Towards Data Science разбирают, как проверять такие системы до того, как ошибки дойдут до пользователей.

Автор советует начинать не с автоматических метрик, а с подготовки «golden dataset»: набора вопросов с заранее известными правильными ответами и указанием документа-источника. Это помогает разделить ошибки поиска и генерации. В первом случае система извлекает не тот фрагмент, во втором отвечает неверно, даже если контекст был корректным.

Для начальной проверки, как говорится в статье, хватает 20–30 вопросов, если они охватывают сложные сценарии. Среди самых важных категорий упоминаются multi-hop запросы, ситуации, в которых система должна отказаться от ответа, конфликты между старыми и актуальными версиями документов, а также вопросы с формулировками, не совпадающими с терминологией исходных материалов. Отдельно автор отмечает сценарии с устаревшими документами: при тестировании их часто недооценивают, хотя именно они нередко приводят к инцидентам в production.