Qualcomm представила архитектуру near-memory HBC и ускорители AI250 и AI300
Qualcomm представила архитектуру near-memory compute под названием high-bandwidth compute (HBC). Она рассчитана на задачи искусственного интеллекта, где главным ограничением становится пропускная способность памяти. Идея в том, чтобы отделить AI-ускоритель от system-on-chip и разместить вычислительный блок прямо под стеком LPDDR DRAM. Связь организуется через through-silicon vias, это должно дать высокую пропускную способность и большую емкость без HBM и без сложной упаковки. Как сообщает Tom's Hardware, компания утверждает, что HBC обеспечивает в 6X более высокую bandwidth-per-watt по сравнению с HBM и более чем в 200X большую емкость по сравнению с on-chip SRAM.
Tony Pialis, Executive Vice President and General Manager of Data Center Business в Qualcomm, объясняет логику так: если вычислительный блок находится непосредственно под стеком DRAM, можно получить производительность на уровне SRAM, но при плотности и емкости многослойной памяти. В Qualcomm считают, что такая схема уменьшает энергопотребление и тепловыделение. Кроме того, отпадает необходимость в silicon interposer, который используется в решениях с HBM. Архитектура также допускает установку нескольких стеков HBC в одном вычислительном устройстве, при этом применяется стандартная упаковка.
Сам принцип размещения DRAM рядом с логикой давно обсуждается в индустрии. Производители памяти уже пробовали подход near-memory compute. Например, компания GUC предлагала технологию DRAM-on-Logic (DoL): от одного до четырех слоев DRAM размещаются поверх логики и дают около 5 TB/s пропускной способности памяти. По заявлениям разработчиков, такие параметры могут превосходить некоторые подсистемы HBM3E и не требуют дорогой упаковки. При этом Qualcomm пока не раскрывает фактическую пропускную способность HBC и не уточняет, какие именно функции выполняет HBC-ускоритель.
Одновременно компания показала дорожную карту ускорителей. Модель AI200, ожидаемая позже в этом году, будет использовать LPDDR5X и предложит 43 TB памяти на стойку. Следующее поколение, AI250, получит первую версию HBC с пропускной способностью в 18X выше, чем у AI200. Ускоритель AI300 будет использовать второе поколение HBC с показателем 54X bandwidth.
Ключевые факты
Qualcomm представила архитектуру near-memory AI под названием HBC (high-bandwidth compute), в которой AI‑ускоритель отделён от SoC и размещён под стеком LPDDR DRAM, соединяясь с ним через through-silicon vias.
Компания заявляет, что HBC обеспечивает в 6 раз более высокую пропускную способность на ватт по сравнению с HBM и более чем в 200 раз большую ёмкость по сравнению с on-chip SRAM.
Дорожная карта Qualcomm предполагает, что ускоритель AI200, ожидаемый позже в этом году, будет использовать LPDDR5X и обеспечивать 43 TB оперативной памяти на стойку.
Следующее поколение ускорителей: AI250 будет использовать HBC первого поколения с пропускной способностью в 18 раз выше, чем у AI200, а AI300 с HBC второго поколения, с пропускной способностью в 54 раза выше, чем у AI300.