Xiaomi показала сверхбыстрый режим UltraSpeed для своей большой языковой модели MiMo-V2.5-Pro. В самой модели 1 триллион параметров, при этом она может работать на обычных видеокартах. В новом режиме скорость генерации текста превышает 1000 токенов в секунду, у предыдущей модели Xiaomi этот показатель составлял 150 токенов в секунду. В данном случае токен примерно равен одному символу или части слова.
У UltraSpeed есть ограничения. Использование режима обходится дороже, примерно в три раза по сравнению с обычным. Кроме того, доступ к нему пока ограничен, воспользоваться функцией могут не все.
До 23 июня компания проводит тестовый доступ только для разработчиков и компаний. Одобренные участники получат две недели бесплатного тестирования с лимитами: не более 10 запросов в день, продолжительность сеанса до 30 минут, автоматическое отключение при простое более 5 минут.
Ключевые факты
Xiaomi представила режим UltraSpeed для модели MiMo-V2.5-Pro; модель содержит 1 триллион параметров и может работать на обычных видеокартах.
Скорость генерации текста в режиме UltraSpeed превышает 1000 токенов в секунду, тогда как предыдущая модель Xiaomi выдавала 150 токенов в секунду.
Режим UltraSpeed стоит в три раза дороже обычного режима.
До 23 июня доступ к UltraSpeed предоставляется только разработчикам и компаниям: одобренные участники получают две недели бесплатного тестирования с лимитом до 10 запросов в день, сеансом до 30 минут и автоотключением после 5 минут простоя.