AgentFinVQA: многоагентный пайплайн для проверяемых ответов по финансовым графикам
Исследователи представили AgentFinVQA, многоагентный пайплайн для ответов на вопросы по финансовым графикам, рассчитанный на использование в регулируемых средах. В подобных задачах важна не только точность. Не менее важно понимать, каким ответам можно доверять, и иметь возможность развернуть систему внутри инфраструктуры организации, не передавая клиентские данные внешним провайдерам моделей. Авторы пишут, что существующие chart-QA агенты обычно сосредоточены на метрике точности, при этом остаются непрозрачными и часто требуют доступа к проприетарным API. По их словам, раньше не предлагалось решений, которые одновременно давали бы аудируемость и позволяли on‑premise развёртывание без заметной потери точности.
В AgentFinVQA обработка запроса разбита на несколько этапов: planning, OCR, legend grounding, visual inspection и verification. Результаты каждого шага фиксируются в трассируемом Model Evaluation Packet (MEP) для каждого образца. Благодаря этому можно проследить, как именно система пришла к итоговому ответу.
На бенчмарке FinMME система показала прирост +7.68 pp по сравнению с zero-shot baseline с тем же основным бэкбоном при использовании проприетарной модели Gemini-3 Flash. Итоговая точность составила 71.24% против 63.56% (McNemar p ≈ 1.1 × 10^-16). При использовании open-weights модели Qwen3.6-27B-FP8, запущенной локально, улучшение составило +4.84 pp.
Вердикт модуля verifier также можно использовать как сигнал уверенности. Точная точность составила 68.2% для подтверждённых ответов и 55.6% для пересмотренных. По словам авторов, такой сигнал помогает отправлять сомнительные случаи на дополнительную проверку человеком в режиме human-in-the-loop.
Ключевые факты
В статье arXiv:2606.19782v1 представлен AgentFinVQA, multi-agent конвейер для финансового chart QA, который разбивает запрос на этапы planning, OCR, legend grounding, visual inspection и verification и фиксирует их в трассируемом Model Evaluation Packet для каждого примера.
На бенчмарке FinMME система показала улучшение на +7.68 п.п. относительно primary-backbone matched zero-shot baseline с проприетарной моделью Gemini-3 Flash: 71.24% против 63.56% (тест Мак-Немара p ≈ 1.1 × 10^-16).
С использованием открытых весов Qwen3.6-27B-FP8, развернутых локально, AgentFinVQA дает прирост +4.84 п.п. на FinMME.
Вердикт модуля verifier используется как сигнал уверенности: точная точность составляет 68.2% для подтвержденных ответов против 55.6% для пересмотренных.