AI-фабрики работают как промышленные системы и ограничены доступной мощностью. Как пишет NVIDIA Technical Blog (Developer), такую инфраструктуру оценивают не по количеству GPU, которые можно разместить в дата-центре. Главный показатель здесь, сколько AI-нагрузки обеспечивает каждый доступный мегаватт.
Для задач AI-инференса NVIDIA называет ключевой метрикой производительность приложений на ватт. В материале о NVIDIA DSX MaxLPS компания уточняет: не вся доступная мощность идет на вычисления, приносящие выручку. Часть ресурсов требуется для распределения питания и охлаждения.
Ключевые факты
AI-фабрики описываются как промышленные системы с ограничениями по мощности.
При оценке инфраструктуры количество GPU уступает по значимости объему AI-нагрузки на каждый доступный мегаватт.
Часть доступной мощности расходуется на распределение питания и охлаждение.
Материал рассматривает эффективность AI-фабрик в контексте NVIDIA DSX MaxLPS.