Предложена единая схема оценки RAG‑систем для сравнения моделей и поставщиков

Компании, которые запускают RAG‑ассистентов и агентные рабочие процессы на Amazon Bedrock и у других поставщиков LLM, быстро сталкиваются с одной и той же проблемой: метрики качества трудно сопоставить. Разные команды пользуются разными инструментами, например Amazon Bedrock model evaluation, RAGAS или собственными решениями формата LLM‑as‑judge. Результаты при этом сохраняются в разных форматах и шкалах. В итоге даже одинаковые показатели, такие как faithfulness, нельзя напрямую сравнить ни между командами, ни между версиями моделей.

Как пишет Towards AI, решить эту проблему предлагают через единый стандарт записи результатов оценки, Unified RAG Evaluation Schema (URES). Идея довольно простая: зафиксировать общий формат входных и выходных данных. В записи должны быть сообщения диалога, извлечённые контексты, ожидаемые ответы, тип проверки, используемая модель‑судья и тестируемая система. Сами результаты сохраняются в унифицированном виде вместе с набором метрик и метаданными оценщика.

В этой модели сама запись оценки становится архитектурным контрактом, а инструменты подстраиваются под заданный формат. Схема поддерживает несколько типов оценки: single‑turn QA (ST), multi‑turn conversation (MT), session‑outcome (MT_SESSION) и agentic automation (MT_AUTOMATION). При этом она не привязана к конкретному поставщику. Модель‑судья, поисковый движок и тестируемая система задаются как поля записи, поэтому можно сопоставлять оценки между различными облачными и локальными моделями.

Ещё один принцип схемы, единая шкала от 0 до 1 для всех метрик. Сюда входят faithfulness, context precision, context recall, answer relevancy и task completion. По замыслу авторов, такой подход избавляет от последующей нормализации результатов между инструментами и делает измерение качества повторяемым и сопоставимым. Именно этого требует функция Measure в NIST AI Risk Management Framework.