В Amazon SageMaker AI представили container image caching для ускорения масштабирования моделей
AWS объявила о внедрении container image caching для Amazon SageMaker AI inference. По данным компании, новый механизм способен ускорить end-to-end latency до 2x для generative AI‑моделей во время scale-out событий. Это продолжение работы по оптимизации масштабирования в сервисе. Ранее команда уже снижала задержки на разных этапах: при определении необходимости scale-out, provisioning instances, загрузке container images, получении model weights и запуске контейнеров.
До этого в Amazon SageMaker AI появились sub-minute Amazon CloudWatch metrics. Они позволяют обнаруживать необходимость scale-out до 6x быстрее по сравнению с традиционными механизмами. Также было добавлено решение inference component data caching, которое сохраняет container images и model artifacts на уже работающих instances. Благодаря этому уменьшалась cold start latency в сценариях масштабирования, где используются существующие instances.
Теперь container caching распространяет эти оптимизации на случаи, когда требуется запуск новых instances. Технология устраняет задержку при загрузке container image даже на новых instances, раньше этот этап не покрывался instance-store-based caching. Во время масштабирования выполняется несколько шагов: запуск новой Amazon Elastic Compute Cloud (Amazon EC2) instance, загрузка container image из Amazon Elastic Container Registry (Amazon ECR), загрузка model weights из Amazon Simple Storage Service (Amazon S3), затем запуск контейнера и проверки готовности. Загрузка container image и model artifacts происходит параллельно.
AWS приводит пример с моделью Qwen3-8B (16 GB) на instance ml.g6.2xlarge с использованием LMI container (17.7 GB compressed). В этом сценарии загрузка container image из Amazon ECR занимала 333 seconds, а загрузка model artifacts из Amazon S3, 168 seconds; суммарная startup latency составляла 525 seconds. После внедрения container caching загрузка container image занимает 0 seconds, а загрузка модели 77 seconds. В итоге общая startup latency снижается до 258 seconds, что, по оценке AWS, даёт примерно 51 percent улучшения.
Ключевые факты
Amazon объявила о функции container image caching для Amazon SageMaker AI inference, которая ускоряет end-to-end latency при масштабировании генеративных моделей до 2x.
В примере с моделью Qwen3-8B (16 GB) на инстансе ml.g6.2xlarge с контейнером LMI (17.7 GB compressed) загрузка образа из Amazon ECR занимала 333 секунды, а загрузка весов модели из Amazon S3, 168 секунд; суммарная задержка запуска составляла 525 секунд.
При использовании container caching загрузка контейнера занимает 0 секунд, загрузка модели сокращается с 168 до 77 секунд, а общая задержка запуска уменьшается до 258 секунд.
Amazon ранее внедрила субминутные метрики Amazon CloudWatch, которые позволяют обнаруживать необходимость масштабирования до 6x быстрее традиционных механизмов.