Amazon SageMaker HyperPod получил инструменты для создания и мониторинга кластеров Ray на Amazon EKS. Как сообщает AWS Machine Learning Blog, теперь из SageMaker Studio можно подключать к работающим кластерам среды JupyterLab и Code Editor, отправлять распределённые задания и открывать Ray Dashboard вместе с панелями мониторинга Amazon Managed Grafana. Там же настраивается обнаружение зависших заданий.
Раньше для работы с Ray на Kubernetes приходилось самостоятельно писать YAML-манифесты и пересобирать Docker-образы при изменении зависимостей. Доступ к Ray Dashboard требовал настройки kubectl port-forward, а Prometheus и Grafana нужно было подключать вручную. Через интерфейс SageMaker Studio кластеры можно создавать, администрировать и отслеживать без Kubernetes-манифестов и команд kubectl.
Автоматическую отказоустойчивость распределённого обучения обеспечивают мониторинг состояния и восстановление узлов HyperPod. Многоуровневые контрольные точки помогают быстрее возобновлять работу. Интеграция с SageMaker JumpStart загружает веса моделей напрямую в конечные точки Ray Serve, а при обработке запросов с длинным контекстом переносит кеш KV в многоуровневое хранилище.
Новые возможности совместимы с KubeRay и стандартными Ray APIs, поэтому существующие скрипты и рабочие процессы можно запускать без изменений.
Ключевые факты
SageMaker Studio позволяет управлять кластерами Ray без YAML-манифестов и команд kubectl.
Мониторинг состояния и восстановление узлов HyperPod обеспечивают автоматическую отказоустойчивость заданий обучения.
SageMaker JumpStart загружает веса моделей непосредственно в конечные точки Ray Serve.
Образ SageMaker Distribution поставляется с предустановленным Ray, а AWS регулярно устанавливает исправления уязвимостей и обновления программного обеспечения.
Вопросы и ответы
- Придётся ли переписывать существующие пайплайны Ray при переходе?
Нет. Интеграция совместима с KubeRay и стандартными Ray APIs, поэтому существующие скрипты и рабочие процессы запускаются без изменений.
- Какие ручные операции теперь можно убрать?
Кластеры создаются и отслеживаются из SageMaker Studio без YAML-манифестов и kubectl. Там же доступны JupyterLab, Code Editor, Ray Dashboard и панели Amazon Managed Grafana.
- Что произойдёт с заданием обучения при сбое узла?
HyperPod отслеживает состояние и восстанавливает узлы автоматически, а многоуровневые контрольные точки ускоряют возобновление распределённого обучения.
Контекст по теме
- NVIDIA Nemotron 3.5 Lightning стал доступен в Amazon SageMaker JumpStart18 августа 2026 г.
- Ray 2.55 получил официальную поддержку Google Cloud TPU16 августа 2026 г.
- AWS представила Bedrock Managed Knowledge Base для упрощения работы с RAG19 июня 2026 г.
- В Amazon SageMaker AI представили container image caching для ускорения масштабирования моделей16 июня 2026 г.
