16 октября Сбер представил Cowork Bench, открытый русскоязычный набор тестов для офисных ИИ-агентов. В него входят 475 сквозных задач, охватывающих 12 бизнес-функций и 26 корпоративных систем.
Cowork Bench оценивает не знания модели или отдельные навыки, а выполнение рабочего процесса от начала до конца. Агенту нужно найти исходные данные, провести расчёты, подготовить документы и передать результат через корпоративные инструменты.
Один из сценариев посвящён анализу бюджета четырёх подразделений. Агент сопоставляет плановые и фактические показатели, готовит отчёт и пересматривает прогноз. В другом сценарии он организует командировку: подбирает билеты, рассчитывает бюджет и добавляет встречи в календарь.
Читайте также
Сбер называет Cowork Bench первым открытым российским бенчмарком такого класса. Любой разработчик или компания может использовать его для проверки собственных ИИ-агентов.
По данным Сбера, команда платформы GigaCowork сравнила девять агентных решений на одной открытой модели, используя одинаковые задания, данные и процедуру проверки. Доля успешно выполненных задач составила от 62% до 80%, а GigaCowork справилась с 75,2% заданий и вошла в число лидеров. Лучше всего платформа работала с объёмными выгрузками, таблицами, документами Word и календарём. Тестирование проводила сама команда GigaCowork, поэтому результаты не являются независимым рейтингом.
В этом сравнении менялась программная оболочка, а модель оставалась одной и той же. Такая оболочка управляет контекстом и памятью агента, подключает инструменты и координирует его действия.