SkyPilot добавил доступ к хранилищу Hugging Face без платы за egress

SkyPilot и Hugging Face представили интеграцию для запуска задач разработки, обучения и инференса в разных облаках и кластерах с хранением моделей и датасетов в Hugging Face Hub. Пользователи могут подключать Hugging Face Bucket или репозитории Hub через URL формата hf:// и существующий HF_TOKEN, а вычисления запускать на доступных GPU в любом поддерживаемом окружении.

Как сообщает Hugging Face Blog, Hugging Face Storage не берёт плату за egress или CDN. Благодаря этому модели и датасеты можно читать напрямую из одного хранилища вне зависимости от того, где SkyPilot разместил задачу. SkyPilot поддерживает запуск более чем в 20 облаках, а также в Kubernetes, Slurm и on-prem-инфраструктуре. Кроме того, платформа умеет работать с резервированными и on-demand GPU разных провайдеров.

Интеграция поддерживает два режима доступа к данным: MOUNT и COPY. В режиме MOUNT используется hf-mount FUSE backend, который загружает только те части файлов, к которым обращается приложение, и хранит локальный кэш на диске. Это позволяет начинать обработку больших файлов ещё до полной загрузки и уменьшает простой GPU во время обучения. Режим COPY заранее загружает данные через huggingface_hub и не требует специальных настроек окружения.

В Hugging Face также отмечают, что Buckets построены на Xet. Поэтому при хранении чекпоинтов и вариантов моделей сохраняются и передаются только изменённые части данных. Аутентификация выполняется через существующий HF_TOKEN, его можно использовать независимо от того, запускается ли задача в AWS, GCP, Azure, Nebius, Lambda или собственном Kubernetes-кластере.