Meituan открыла доступ к модели LongCat-2.0 с 1,6 трлн параметров

Meituan открыла исходный код модели LongCat-2.0 с общим числом параметров 1,6 трлн. При этом среднее количество активируемых параметров составляет около 48 млрд. Модель рассчитана на Agentic Coding-задачи и использует архитектурные решения LongCat sparse attention и N-gram Embedding, чтобы эффективнее работать с длинным контекстом и token-level представлениями.

Как сообщает IT Home, разработчики также внедрили механизм динамической активации. По их словам, он улучшает понимание, генерацию и исполнение кода. В компании утверждают, что LongCat-2.0 стала первой в отрасли моделью такого масштаба, для которой инференс выполнили на кластере из 50 тысяч отечественных ускорителей.

Одновременно с моделью Meituan опубликовала версии BF16, FP8 и INT8 для разных вычислительных платформ. Кроме того, компания открыла оптимизированный под китайские ускорители инференс-код. Также заявлена совместная оптимизация архитектуры, адаптация под чипы и стратегии развертывания, благодаря которым модель может стабильно работать даже на уже существующем оборудовании.