К содержанию

В шлюзе Vercel decision-модели стоили в 70 раз меньше LLM за запрос

Вывод относится только к трафику шлюза за октябрь: на такие модели пришлось 26% запросов и 0,53% расходов.

В Telegram
Кобальтовое число 70× с четырьмя гравированными вариантами ответа внутри нуля, один из которых выделен чёрным.
Decision-модель выбирает один из четырёх заданных ответов; по данным Vercel, запрос к ней обходился примерно в 70 раз дешевле запроса к LLM.

По статистике Vercel AI Gateway — сервиса, который распределяет обращения приложений между разными ИИ-моделями, — decision-модели обходились клиентам шлюза примерно в 70 раз дешевле LLM в расчёте на запрос. В октябре они обработали 26% запросов; почти треть платящих команд использовала хотя бы одну такую модель, а среди крупнейших клиентов доля достигла семи из десяти.

Decision-модель получает текст и список допустимых ответов, после чего выбирает один вариант и оценивает его вероятность. В отличие от большой языковой модели, или LLM, она не составляет ответ слово за словом. Такой механизм подходит для маршрутизации обращений, сортировки документов, модерации и других операций, где результат заранее ограничен несколькими вариантами.

Несмотря на заметную долю трафика, на decision-модели пришлось лишь 0,53% всех расходов через шлюз. Эти данные описывают клиентов Vercel, а не весь рынок ИИ.

Читайте также

Основной объём обеспечила модель Jev от TypeSafe AI. Её ограниченная версия появилась 15 сентября, а уже через две недели модель использовали 35% платящих команд Vercel, писал TechCrunch. Вслед за Jev собственные специализированные решения выпустили крупные облачные платформы. Microsoft представила Decision-1 ещё 10 октября и открыла доступ к ней через Microsoft Foundry и OpenRouter.

Скорость достигается за счёт узкой специализации. Decision-модель не пишет резюме, не объясняет выбор и не может дать ответ за пределами списка. Испытания компании theblue.ai также показали, что стоимость одной задачи у проверенных ею провайдеров была в 10–100 раз ниже, чем при использовании LLM, но конкретная разница зависит от сравниваемых моделей.

Показатель уверенности не гарантирует правильного решения. В приведённом theblue.ai аудите порог, настроенный на английских данных, сохранил заданную надёжность только для 8 из 51 языка. Поэтому модель нужно проверять на собственных примерах отдельно для каждого языка, а спорные или важные решения передавать человеку либо более универсальной LLM.

В этой новости

Похожее

Как процитировать этот материал

«В шлюзе Vercel decision-модели стоили в 70 раз меньше LLM за запрос». hegai.media, 18 ноября 2026 г.. https://hegai.media/novosti/v-shlyuze-vercel-decision-modeli-stoili-v-70-raz-menshe-llm-za-zapros--72ed9a7b