Исследователи проверили RLVR для агентов, работающих с Jira и Confluence API

Исследователи представили proof of concept для обучения ИИ-агентов, работающих с корпоративными API Atlassian. Работа посвящена сценариям, в которых языковая модель должна не просто генерировать текст, а вызывать нужные API-методы с корректными вложенными параметрами и в правильной последовательности. Авторы пишут, что в таких задачах модели могут пропускать обязательные поля, обращаться к несуществующим инструментам или слишком рано завершать цепочку действий.

Как пишет arXiv cs.AI (Artificial Intelligence), в эксперименте использовался подход Reinforcement Learning with Verifiable Rewards (RLVR), применённый напрямую в целевой среде. Для тестирования исследователи создали пять синтетических окружений, которые имитировали Jira REST v3 и Confluence v2 API с сохранением структуры схем. Награда рассчитывалась только по журналу вызовов инструментов, без обращения к реальным API, без обучаемого judge-модуля и без ручной разметки.

Авторы оценивали модели Qwen3-1.7B и Qwen3.5-4B с помощью тех же проверок, которые использовались при обучении через GRPO. В четырёх сценариях с ненулевой наградой RL-обученная политика повысила средний результат с диапазона 0,35–0,92 у базовой 4B-модели до 0,95–1,00. Наиболее заметный прирост исследователи зафиксировали в задаче создания страниц Confluence: показатель увеличился с 0,35 до 1,00.