Deepgram представила две возможности для развертываний в Amazon SageMaker AI, доступные уже сегодня: Deepgram Enhanced Metrics и поддержку Prometheus и OpenTelemetry. Как сообщает AWS Machine Learning Blog, Enhanced Metrics передает данные о биллинге и использовании функций прямо в аккаунт Amazon CloudWatch. Поддержка Prometheus и OpenTelemetry позволяет собирать метрики движка, ускорителя и хоста для каждого GPU.
Deepgram Enhanced Metrics записывает данные в стандартный вывод контейнера, используя формат CloudWatch Embedded Metric Format. Затем SageMaker AI отправляет эти записи в Amazon CloudWatch Logs, где они автоматически преобразуются в метрики. Отдельный агент, вспомогательный sidecar-контейнер и дополнительные разрешения IAM для этого не нужны.
Значения потребленных единиц совпадают с данными, на основе которых рассчитывается тарифицируемый биллинг AWS Marketplace. Благодаря этому можно сопоставить счет с фактическим трафиком на уровне модели и транспорта, а также обнаружить расхождения в учете использования.
Метрики Prometheus собираются непосредственно из контейнера Deepgram средствами детальной наблюдаемости SageMaker AI. Делать запросы к ним через PromQL можно в CloudWatch, Grafana или любом другом инструменте, совместимом с Prometheus. Обе возможности работают при сетевой изоляции контейнера. Все данные сохраняются в аккаунте пользователя.
Ключевые факты
Модели Deepgram распространяются как пакеты в AWS Marketplace и развертываются в аккаунте пользователя как эндпоинты SageMaker AI реального времени.
Значения потребленных единиц в Deepgram Enhanced Metrics используются для тарифицируемого биллинга AWS Marketplace.
Для передачи метрик не нужны агент, sidecar-контейнер или дополнительные разрешения IAM.
Метрики движка, ускорителя и хоста для каждого GPU доступны через PromQL в CloudWatch, Grafana и совместимых с Prometheus инструментах.
Вопросы и ответы
- Можно ли сверять счет AWS Marketplace с фактическим использованием моделей?
Да. Deepgram Enhanced Metrics передает в CloudWatch значения потребленных единиц, которые используются для тарифицируемого биллинга AWS Marketplace, с детализацией по модели и транспорту.
- Потребуется ли менять инфраструктуру мониторинга или права доступа?
Нет. Метрики записываются контейнером в CloudWatch Embedded Metric Format и преобразуются через CloudWatch Logs без агента, sidecar-контейнера и дополнительных разрешений IAM.
- Где можно анализировать технические метрики и остаются ли данные внутри аккаунта?
Метрики движка, ускорителя и хоста для каждого GPU доступны через PromQL в CloudWatch, Grafana и совместимых с Prometheus инструментах. Возможности работают при сетевой изоляции контейнера, а данные сохраняются в аккаунте пользователя.
Контекст по теме
- AWS добавила стандартизированные поля для анализа расходов на AI в AWS Data Exports21 июля 2026 г.
- AWS показала схему мониторинга ML-моделей в SageMaker AI с использованием MLflow и Evidently7 июля 2026 г.
- AWS повысила цены на EC2 Capacity Blocks for ML примерно на 20% на фоне дефицита памяти29 июня 2026 г.
- В Amazon SageMaker AI представили container image caching для ускорения масштабирования моделей16 июня 2026 г.
