API обычно выгоднее при небольшом или скачущем потоке запросов. Собственная инфраструктура начинает конкурировать с ним при постоянной загрузке ускорителей, особенно если компания уже умеет обслуживать их и получает дополнительную выгоду от хранения данных внутри своего контура. Выпуск открытых весов Mistral Large 4 расширил выбор моделей для такого сценария и одновременно показал его инфраструктурную цену: полной модели требуется около 1 ТБ видеопамяти.
Что произошло и почему это важно сейчас
29 октября Mistral опубликовала веса Mistral Large 4, также известной как Le Chonk. Веса — это коэффициенты, полученные во время обучения модели. Теперь организации могут загрузить ML4 и развернуть ее на собственной инфраструктуре.
Публичная предварительная версия появилась тремя неделями раньше. После публикации весов модель стала доступна для самостоятельного развертывания, а также через API Mistral, OpenRouter, Microsoft Foundry и размещенные у NVIDIA конечные точки.
Читайте также
ML4 принимает текст и изображения и генерирует текст. В модели около 1 трлн параметров, но при обработке одного токена активны 49 млрд, или 52 млрд с учетом входного и выходного слоев. Контекст достигает 1 048 576 токенов.
Открытый доступ к весам меняет структуру расходов. При работе через API компания оплачивает обработанные токены по тарифу провайдера. При самостоятельном развертывании она берет на себя затраты на ускорители, сеть, электричество, охлаждение, мониторинг и инженеров. Поэтому экономический результат определяется тем, какой объем работы оборудование выполняет в реальной системе.
Как устроена Mistral Large 4
Mistral Large 4 использует архитектуру mixture of experts, или смесь экспертов. Первый из 72 декодерных слоев остается плотным, а остальные содержат 128 специализированных блоков. Для каждого токена маршрутизатор выбирает четыре блока, одновременно с ними работает один общий эксперт.
Такой подход сокращает вычисления, поскольку модель не задействует все параметры на каждом шаге. Полную контрольную точку при этом все равно нужно разместить в памяти. Документация Hugging Face указывает, что вариант FP8 требует около 1 ТБ видеопамяти и распределяется между несколькими GPU.
Разреженным сделано и внимание модели. Вместо обработки всей предыдущей последовательности на каждом шаге специальный индексатор выбирает до 2048 позиций, наиболее важных для текущего запроса. Это может сократить вычисления при длинном контексте, хотя итоговая скорость зависит от программной реализации, оборудования и характера нагрузки.
Таким образом, 49 млрд активных параметров уменьшают объем вычислений, но полная триллионная модель по-прежнему требует большого объема памяти. Для FP8 нужны несколько GPU. Двухбитные кванты можно запустить на одном компьютере Apple Silicon Ultra с 512 ГБ объединенной памяти. В тесте Hugging Face на M3 Ultra такой вариант генерировал около 15 токенов в секунду.
Как сопоставить стоимость API и своих серверов
Универсальной точки окупаемости в токенах не существует. Она меняется вместе с длиной запросов, соотношением входного и выходного текста, кэшированием, требуемой задержкой, ценой оборудования и фактической загрузкой.
API Mistral Large 4 стоит $0,70 за миллион входных токенов, $0,07 за миллион входных токенов, найденных в кэше, и $2,10 за миллион выходных токенов. Расходы на API можно оценить по числу токенов каждого типа и доле попаданий в кэш.
Для локального запуска расходы на GPU, питание, охлаждение, сеть и эксплуатацию за выбранный период делят на фактически обработанный объем. Расчет со стопроцентной загрузкой обычно выглядит привлекательно, однако корпоративная система может простаивать ночью, между проектами или во время сезонных спадов.
Препринт Читрала Патила показывает влияние загрузки на 42 тестах разных моделей. На одинаковых NVIDIA H100 эффективная стоимость миллиона выходных токенов менялась от $0,21 до $15,25. При нагрузке от одного до десяти запросов в секунду недоиспользование оборудования повышало стоимость в 2,5–24 раза, а вблизи простоя — до 36,3 раза. Повторная серия на A100 дала разброс в 7–11,4 раза.
Отдельное исследование корпоративных программирующих агентов сравнило два последовательных 28-дневных периода работы одного разработчика: Claude Opus через API и локальные GLM-5.1/5.2 на NVIDIA Blackwell. При попадании запросов в кэш в 99,3% случаев фактическая цена API снизилась на 88,6%, до $0,57 за миллион токенов. Амортизированная цена доли локальной инфраструктуры составила $2,83 за миллион токенов.
По полной стоимости результат зависел от распределения оборудования. Совместно используемые разными задачами GPU дали экономию 40,1% относительно API, а выделенная только под агента конфигурация оказалась на 43,8% дороже. Авторы использовали параметры тайваньского рынка и симметричную оценку труда, поэтому эти проценты нельзя переносить на другую компанию без собственного расчета.
| Показатель | Результат | Что показывает |
|---|---|---|
| API ML4: входные токены | $0,70 за 1 млн | Базовая цена обработки запроса |
| API ML4: кэшированные входные токены | $0,07 за 1 млн | Кэш снижает стоимость повторяющегося контекста |
| API ML4: выходные токены | $2,10 за 1 млн | Генерация стоит дороже обработки входа |
| Стоимость в тестах на H100 | $0,21–15,25 за 1 млн выходных токенов | Загрузка способна изменить цену на порядок |
| Штраф недоиспользования при 1–10 запросах в секунду | 2,5–24 раза | Низкий трафик увеличивает стоимость своих серверов |
| Полная стоимость локального агента при совместном использовании GPU | на 40,1% ниже API | Общий кластер распределяет постоянные расходы между задачами |
| Полная стоимость выделенного локального агента | на 43,8% выше API | Отдельное оборудование сильнее страдает от недозагрузки |
Тарифы ML4 и результаты исследований нельзя напрямую свести в одну универсальную точку окупаемости: тесты проводились с разными моделями, оборудованием и нагрузками. Для расчета нужны собственный поток запросов, доля кэширования, конфигурация серверов и полная стоимость их эксплуатации.
Почему кэш и качество могут перевернуть расчет
Кэш особенно важен для программирующих агентов и других систем, которые многократно отправляют модели инструкции, историю диалога и большие фрагменты документов или исходного кода. При повторном использовании этого контекста провайдер может применять более низкий тариф. В исследовании программирующих агентов почти все входные запросы попадали в кэш, что резко снизило фактический счет API.
Однако цена генерации описывает только часть затрат. В том же наблюдении у локальной конфигурации 74,9% коммитов были исправляющими против 45,9% у варианта с API. При сопоставимом общем объеме изменений разработчик чаще возвращался к отладке, поэтому экономия на вычислениях могла сопровождаться дополнительной работой.
На итоговый счет также влияют число шагов агента, повторное чтение контекста, доля неудачных попыток и необходимость вмешательства человека. AWS рекомендует сравнивать стоимость и качество моделей на собственном коде, поскольку более дешевый запуск не гарантирует меньших расходов на завершенную задачу.
Для такого теста полезно считать не только токены, но и долю задач, выполненных без исправлений, время инженеров и число повторных обращений к модели. Тогда сравнение отражает стоимость результата, а не отдельного запроса.
Кто выигрывает и кто оплачивает простой
Самостоятельный запуск подходит организациям, которые уже располагают инфраструктурной командой, способны распределять ускорители между несколькими продуктами и хотят управлять размещением данных, настройками модели и доступом к ней.
ML4 ориентирована в том числе на программирование и защитные задачи информационной безопасности. Такие запросы могут содержать код уязвимостей или образцы вредоносного ПО, из-за чего фильтры внешнего сервиса иногда блокируют легитимную работу. При локальном развертывании организация сама определяет политику использования и отвечает за ограничения доступа и безопасную эксплуатацию.
API снимает необходимость заранее покупать кластер под максимальный поток запросов. Провайдер может распределять оборудование между множеством клиентов, тогда как отдельной компании приходится самостоятельно искать нагрузку для свободных ускорителей.
Гибридная схема позволяет направлять повторяющиеся запросы и чувствительные данные на локальную модель, а редкие сложные задачи и кратковременные пики — во внешний API. Это дает возможность использовать собственное оборудование без закупки мощностей под несколько максимальных часов в месяц.
Последствия для компаний в России
Открытые веса позволяют запускать Mistral Large 4 без постоянной передачи рабочих запросов во внешний сервис. Для российских компаний это еще один вариант архитектуры, в которой доступ к модели меньше зависит от конкретной зарубежной конечной точки API.
Полный вариант FP8 с примерно 1 ТБ видеопамяти, несколькими ускорителями и требованиями к межсоединениям представляет собой крупный инфраструктурный проект. Двухбитные кванты требуют меньше памяти и могут работать на одном компьютере Apple Silicon Ultra с 512 ГБ объединенной памяти, но их скорость и качество следует оценивать на целевых задачах.
Перед развертыванием можно измерить фактический поток запросов, долю попаданий в кэш, необходимую скорость и качество более компактных открытых моделей. Для полной оценки также потребуются данные о времени эксплуатации, загрузке оборудования и количестве задач, которые модель завершает без исправлений.
Вопросы и ответы
- Сколько памяти требуется Mistral Large 4?
Полный вариант FP8 занимает около 1 ТБ видеопамяти и распределяется между несколькими GPU. Двухбитные кванты могут работать на Apple Silicon Ultra с 512 ГБ объединенной памяти.
- Почему 49 млрд активных параметров не уменьшают память до того же масштаба?
Архитектура смеси экспертов активирует только часть блоков для каждого токена, сокращая вычисления. Полные веса модели при этом должны оставаться доступными системе, поэтому объем контрольной точки не уменьшается пропорционально числу активных параметров.
- Где доступна Mistral Large 4?
Модель можно использовать через API Mistral и OpenRouter, развернуть как управляемый сервис через Microsoft Foundry и NVIDIA или загрузить открытые веса с Hugging Face для собственной инфраструктуры.
- Можно ли коммерчески использовать открытые веса ML4?
Модель распространяется по Mistral Ecosystem Open-Weight License — производной от MIT. Ее разрешено использовать, изменять, дообучать и коммерциализировать. Компаниям, которые предоставляют саму модель как отдельный сервис, требуется коммерческая лицензия Mistral.