Huawei открыла openPangu-2.0-Pro с 505 млрд параметров и обучением на Ascend NPU

Huawei 31 июля открыла исходники модели openPangu-2.0-Pro. Компания опубликовала веса модели, код для инференса и технический отчет. Модель содержит 505 млрд параметров, использует sparse activation и поддерживает контекстное окно 512K. Как пишет Pandaily со ссылкой на Huawei, это первая frontier-модель с более чем 500 млрд параметров, полностью обученная без использования оборудования NVIDIA.

В Huawei называют главным отличием проекта полный open source стек. Вместе с моделью компания открыла семь компонентов, в том числе инструменты для pretraining и post-training. Обучение проходило на Ascend NPU с использованием 34 трлн токенов. По словам Юй Чэндуна, архитектуру на 505 млрд параметров выбрали из-за ограниченных вычислительных ресурсов: значительная часть мощностей направляется другим китайским компаниям.

Для корпоративного рынка релиз важен тем, что Huawei пытается предложить не отдельную модель, а воспроизводимую инфраструктуру для локального развертывания long-context agent-систем. openPangu-2.0-Pro компания позиционирует как основу для задач промышленного управления, устройств и интеллектуального транспорта.

Huawei также привела примеры внедрения Pangu в отраслевых проектах. Pudong Development Bank сообщил о росте точности распознавания грузов на 5–10% и сокращении сроков разработки с месяцев до дней. В PetroChina Kunlun заявили о повышении эффективности на 40% при поиске дефектов. Металлургические предприятия сообщили об экономии 20 тонн топлива в сутки на одну печь.

При этом оценки эффективности модели в материале в основном основаны на данных самой Huawei. Компания отдельно отмечает, что в отчете openPangu-2.0 признается отставание модели от лидеров рынка в сложных задачах software engineering.