Together AI обновила GPU-кластеры для обучения и инференса моделей

Together AI обновила сервис Together GPU Clusters для работы с крупными кластерами, которые используются для обучения и инференса моделей. Изменения разделили на два направления: контроль состояния платформы и инструменты управления. В сервис добавили пассивные проверки состояния, автоматический ремонт узлов, обновлённый стек Slurm-on-Kubernetes на базе форка Slinky, а также внешнюю OIDC-аутентификацию, startup scripts и новые элементы управления кластерами.

Как сообщает Together AI Blog, пассивные проверки состояния теперь постоянно отслеживают реальные рабочие нагрузки, логи и метрики на каждом узле кластера, при этом почти не создавая дополнительной нагрузки на задачи. Система фиксирует отключение GPU от PCIe, thermal throttling, ошибки Xid и вывод узлов Slurm из ротации при сбоях.

Для восстановления после сбоев Together AI внедрила механизм auto node repair. После обнаружения проблемы система предлагает один из четырёх вариантов действий в зависимости от типа ошибки: reboot, reprovision, failover или remove. Решение о применении исправления остаётся за оператором. В компании подчёркивают, что придерживаются подхода human-in-the-loop и не останавливают production-нагрузки автоматически.