Опубликован технический отчёт Ling and Ring 2.6 и базовые модели Ling-2.6-1T и Ling-2.6-flash

На arXiv появился технический отчёт «Ling and Ring 2.6 Technical Report: Efficient and Instant Agentic Intelligence at Trillion-Parameter Scale». Параллельно на HuggingFace выложены базовые модели Ling-2.6-1T и Ling-2.6-flash, они размещены в репозитории inclusionAI. В обсуждении отмечают, что релиз состоялся в этом месяце.

Как сообщает r/LocalLLaMA (Reddit), пользователи обратили внимание на размер версии Ling-2.6-flash, он составляет 100B. В комментариях предполагают, что модель можно запускать в Q4 на системах с 24/32GB VRAM. Там же звучит и другое мнение: жаль, что для версии 2.6 не выпустили вариант формата Ling-mini, рассчитанный на менее мощные GPU.

В качестве ориентира вспоминают предыдущую модель Ling-mini-2.0 (16B-A1.4B). По данным из ранее опубликованной ветки обсуждения, вариант Ling-mini-2.0-IQ4_XS показывает скорость 160 t/s на 8GB VRAM. Также упоминается производительность 50-70 t/s при CPU-only inference с 32GB RAM. Автор сообщения отмечает, что такие показатели для CPU-only inference оказались неожиданно высокими и, по его наблюдениям, даже превосходили результаты некоторых 1-bit version models.