Платформа NVIDIA Blackwell возглавила первый бенчмарк инфраструктуры для agentic AI
Artificial Analysis представила AgentPerf, первый в индустрии бенчмарк для agentic AI, созданный для сравнения инфраструктуры, которой пользуются разработчики, компании и провайдеры. В первой опубликованной серии результатов платформа NVIDIA Blackwell Ultra NVL72 показала лучшие показатели на нагрузках agentic AI. По данным тестов, она выполняет в 20x больше агентов на мегаватт по сравнению с NVIDIA Hopper.
В AgentPerf измеряют работу агентных систем, где задача разбивается на последовательность шагов с множеством вызовов LLM и инструментов. Такие агенты могут делать десятки или даже сотни связанных вызовов LLM, передавая между ними контекст и обращаясь к инструментам: компиляции и запуску кода, поиску по базе данных, веб‑браузингу. Эти сценарии отличаются от классических бенчмарков инференса, где измеряется всего один запрос к LLM.
В первом раунде измерений производительность agentic AI проверяли на модели DeepSeek V4 Pro, large mixture-of-experts (MoE). В этой нагрузке система NVIDIA GB300 NVL72 показала наивысший результат: до 20x больше агентов на мегаватт по сравнению с системой NVIDIA HGX H200. Она также поддерживает больше одновременных агентов на мегаватт, чем NVIDIA H200, при service-level objectives 20 и 60 tokens per second per agent. Конфигурация GB300 NVL72 объединяет 72 GPUs в одной rack-scale системе. Оптимизация достигается за счёт CUDA kernels и NVIDIA TensorRT LLM.
Сам бенчмарк построен на траекториях реальных coding‑агентов. Агент получает задачу, читает файлы, пишет и редактирует код, выполняет команды и затем повторяет шаги на основе полученных результатов. Данные взяты из публичных репозиториев кода на 12+ programming languages. Tool calls в тестах не выполняются напрямую; вместо этого они моделируются с использованием representative CPU processing time, чтобы измерения отражали именно производительность accelerated computing. В итоге результаты показывают, сколько agentic‑задач платформа может выполнять одновременно при заданных порогах отзывчивости и скорости генерации токенов.
Ключевые факты
Artificial Analysis представила AgentPerf, первый в индустрии бенчмарк для agentic AI, предназначенный для сравнения систем разработчиками, компаниями и поставщиками инфраструктуры.
В первой опубликованной серии результатов платформа NVIDIA Blackwell Ultra NVL72 показала лидирующую производительность на тестируемых agentic AI‑нагрузках.
На нагрузке с моделью DeepSeek V4 Pro система NVIDIA GB300 NVL72 запускает до 20x больше агентов на мегаватт, чем система NVIDIA HGX H200.
GB300 NVL72 объединяет 72 GPU в единую rack‑scale систему и поддерживает больше одновременных агентов на мегаватт при целевых уровнях сервиса 20 и 60 токенов в секунду на агента.