Обсуждение цен OpenRouter вызвало вопросы о степени квантования моделей
Участники сообщества спорят о том, насколько оправданы текущие цены на доступ к крупным открытым моделям через API. Заодно обсуждают другой вопрос: не скрывается ли за низкими тарифами более агрессивное квантование. Автор одного из разборов рассматривает модель GLM-5.2 и пытается сопоставить стоимость инфраструктуры с теми ценами, которые обычно предлагают API. Как сообщает r/LocalLLaMA (Reddit), даже в довольно оптимистичном сценарии, когда модель развёрнута в формате FP8 на дешёвой spot‑мощности 8×H200 стоимостью около $12–$14 в час, выйти на сопоставимую экономику оказывается непросто.
В его расчёте узел с 8×H200, работающий в FP8 и выдающий примерно 175 output tok/s, генерирует около 630k output tokens в час. Если аренда стоит примерно $14 в час, получается около $22 за миллион выходных токенов ещё до учёта операционных расходов и маржи. С такими цифрами трудно согласовать популярные тарифы API на уровне примерно $4 за миллион output tokens. Это выглядело бы возможным только при заметно более высокой пропускной способности, существенно более дешёвой инфраструктуре или дополнительных оптимизациях.
Автор предполагает, что одно из объяснений может быть связано с более жёстким квантованием моделей, чем обычно предполагают пользователи. При этом он задаётся вопросом о влиянии снижения точности. По его мнению, всё что ниже FP8 может заметно ухудшать качество вывода, а даже FP8 иногда сопровождается падением качества примерно на 8–10%. Среди других возможных факторов он упоминает оптимизации вроде batching, caching, MTP и speculative decoding, а также внутренние оптимизации со стороны провайдеров.
На фоне этих обсуждений появляется идея о потенциальном спросе на «премиальный» доступ к моделям. В таком варианте стек обслуживания был бы раскрыт, а уровень квантования зафиксирован. Подобный доступ мог бы стоить в 3–5 раз дороже для отдельных сложных задач, например планирования, агентных рабочих процессов или трудных запросов. Зато пользователь точно понимал бы, какое качество модели он получает.
Ключевые факты
В примере с моделью GLM-5.2 предполагается развертывание FP8 на узле с 8×H200 со спотовой стоимостью примерно $12–$14 в час.
При производительности около 175 output tokens в секунду такой узел генерирует примерно 630 000 output tokens в час.
При стоимости около $14/час это соответствует примерно $22 за 1 млн output tokens до учета операционных расходов и маржи.
В тексте отмечается, что даже FP8 может давать примерно 8–10% снижения качества вывода по сравнению с более точными форматами.