Together AI обновила сервис Together GPU Clusters для работы с крупными кластерами, которые используются для обучения и инференса моделей. Изменения разделили на два направления: контроль состояния платформы и инструменты управления. В сервис добавили пассивные проверки состояния, автоматический ремонт узлов, обновлённый стек Slurm-on-Kubernetes на базе форка Slinky, а также внешнюю OIDC-аутентификацию, startup scripts и новые элементы управления кластерами.
Как сообщает Together AI Blog, пассивные проверки состояния теперь постоянно отслеживают реальные рабочие нагрузки, логи и метрики на каждом узле кластера, при этом почти не создавая дополнительной нагрузки на задачи. Система фиксирует отключение GPU от PCIe, thermal throttling, ошибки Xid и вывод узлов Slurm из ротации при сбоях.
Для восстановления после сбоев Together AI внедрила механизм auto node repair. После обнаружения проблемы система предлагает один из четырёх вариантов действий в зависимости от типа ошибки: reboot, reprovision, failover или remove. Решение о применении исправления остаётся за оператором. В компании подчёркивают, что придерживаются подхода human-in-the-loop и не останавливают production-нагрузки автоматически.
Ключевые факты
Пассивные проверки состояния работают непрерывно на всех узлах кластера и анализируют реальные нагрузки, логи и метрики.
Система auto node repair предлагает четыре типа восстановления: reboot, reprovision, failover и remove.
Обновлённый стек Slurm-on-Kubernetes построен на форке open source-проекта Slinky.
Together AI добавила внешнюю OIDC-аутентификацию, startup scripts и новый интерфейс с деталями кластера.