Meituan открыла исходный код модели LongCat-2.0 с общим числом параметров 1,6 трлн. При этом среднее количество активируемых параметров составляет около 48 млрд. Модель рассчитана на Agentic Coding-задачи и использует архитектурные решения LongCat sparse attention и N-gram Embedding, чтобы эффективнее работать с длинным контекстом и token-level представлениями.
Как сообщает IT Home, разработчики также внедрили механизм динамической активации. По их словам, он улучшает понимание, генерацию и исполнение кода. В компании утверждают, что LongCat-2.0 стала первой в отрасли моделью такого масштаба, для которой инференс выполнили на кластере из 50 тысяч отечественных ускорителей.
Одновременно с моделью Meituan опубликовала версии BF16, FP8 и INT8 для разных вычислительных платформ. Кроме того, компания открыла оптимизированный под китайские ускорители инференс-код. Также заявлена совместная оптимизация архитектуры, адаптация под чипы и стратегии развертывания, благодаря которым модель может стабильно работать даже на уже существующем оборудовании.
Ключевые факты
Среднее число активируемых параметров LongCat-2.0 составляет около 48 млрд
Модель использует LongCat sparse attention и N-gram Embedding для работы с длинным контекстом
Meituan заявила об инференсе модели на кластере из 50 тысяч отечественных ускорителей
Для LongCat-2.0 опубликованы версии BF16, FP8 и INT8