По статистике Vercel AI Gateway — сервиса, который распределяет обращения приложений между разными ИИ-моделями, — decision-модели обходились клиентам шлюза примерно в 70 раз дешевле LLM в расчёте на запрос. В октябре они обработали 26% запросов; почти треть платящих команд использовала хотя бы одну такую модель, а среди крупнейших клиентов доля достигла семи из десяти.
Decision-модель получает текст и список допустимых ответов, после чего выбирает один вариант и оценивает его вероятность. В отличие от большой языковой модели, или LLM, она не составляет ответ слово за словом. Такой механизм подходит для маршрутизации обращений, сортировки документов, модерации и других операций, где результат заранее ограничен несколькими вариантами.
Несмотря на заметную долю трафика, на decision-модели пришлось лишь 0,53% всех расходов через шлюз. Эти данные описывают клиентов Vercel, а не весь рынок ИИ.
Читайте также
Основной объём обеспечила модель Jev от TypeSafe AI. Её ограниченная версия появилась 15 сентября, а уже через две недели модель использовали 35% платящих команд Vercel, писал TechCrunch. Вслед за Jev собственные специализированные решения выпустили крупные облачные платформы. Microsoft представила Decision-1 ещё 10 октября и открыла доступ к ней через Microsoft Foundry и OpenRouter.
Скорость достигается за счёт узкой специализации. Decision-модель не пишет резюме, не объясняет выбор и не может дать ответ за пределами списка. Испытания компании theblue.ai также показали, что стоимость одной задачи у проверенных ею провайдеров была в 10–100 раз ниже, чем при использовании LLM, но конкретная разница зависит от сравниваемых моделей.
Показатель уверенности не гарантирует правильного решения. В приведённом theblue.ai аудите порог, настроенный на английских данных, сохранил заданную надёжность только для 8 из 51 языка. Поэтому модель нужно проверять на собственных примерах отдельно для каждого языка, а спорные или важные решения передавать человеку либо более универсальной LLM.
