Together AI представила Provisioned Throughput, новый формат доступа к open weight моделям с зарезервированной мощностью инференса, оплатой по токенам и SLA на доступность 99%. Сервис ориентирован на компании, которым нужна стабильная пропускная способность и предсказуемые расходы без необходимости управлять собственной GPU-инфраструктурой.
Как сообщает Together AI Blog, решение уже доступно для моделей MiniMax M3 и GLM-5.2. Мощности размещены в Северной Америке, EMEA и других регионах. Минимальный срок подключения составляет один месяц. В компании также заявляют, что стоимость может быть до 90% ниже по сравнению с Claude Opus 4.8 по прайс-листу.
Сервис построен на Provisioned Throughput Units (PTU), это фиксированные блоки мощности с гарантированным числом токенов в минуту для выбранной модели. Стоимость составляет 0,05 $ за PTU в минуту. Together AI уточняет, что входные, кэшированные входные и выходные токены расходуют PTU по-разному, поэтому расходы можно подстраивать под конкретный тип нагрузки.
Ключевые факты
Together AI заявляет о росте объема токенов через свои API с 30 млрд до более чем 400 трлн токенов в месяц за девять месяцев
Provisioned Throughput использует модель оплаты за гарантированную мощность, а не только за фактическое потребление
Стоимость Provisioned Throughput Units составляет 0,05 $ за PTU в минуту
Минимальный срок подключения к Provisioned Throughput составляет один месяц