Together AI обновила платформу инференса для open-weight моделей, сделав акцент на запуске и эксплуатации AI-сервисов в production. По словам компании, модели можно разворачивать за минуты, использовать несколько deployment-конфигураций через один стабильный endpoint, а также применять canary, blue-green и rolling updates с автоматическим откатом по заданным порогам. Платформа поддерживает A/B- и shadow-тестирование на реальном трафике, плюс автоскейлинг в одном или нескольких регионах.
Одновременно компания объявила о закрытом бета-тестировании custom training. В него входят full-weight и LoRA reinforcement learning, supervised fine-tuning и работа с checkpoint, которые можно сразу отправлять в production. Как пишет Together AI Blog, обновление объединяет наработки команд research, model optimization и platform engineering в едином сервисе для open-weight, licensed closed-weight и fine-tuned моделей.
В Together AI считают, что open-weight модели уже приблизились к закрытым по качеству. При этом они дешевле и дают полный контроль над производительностью, функциональностью и качеством. Компания также отмечает, что многие коммерческие AI-приложения используют стратегию majority open-weight endpoint, чтобы сохранять контроль над пользовательским опытом и работать с proprietary IP без передачи данных третьим сторонам.
Ключевые факты
Together AI заявляет о нагрузке более 400 трлн токенов в месяц
Платформа поддерживает canary, blue-green и rolling updates с автоматическим откатом по заданным порогам
Для тестирования доступны A/B- и shadow-сценарии на реальном трафике
Вебинар с разбором обновления запланирован на 6 августа