Профессор электротехнического факультета KAIST Ким Чон Хо, которого называют «отцом HBM», заявил, что конкуренция в AI постепенно смещается от GPU к памяти. По его словам, во время AI-инференса данные сначала считываются из HBM, потом передаются в GPU для вычислений, а затем снова записываются в память. В результате GPU фактически занят вычислениями лишь 10–30% времени.
Ким Чон Хо считает, что в эпоху инференса производительность AI будет зависеть не только от вычислительных возможностей GPU, но и от того, какой объём данных система способна обработать и с какой скоростью. Как сообщает IT Home, развитие мультимодальных моделей и Agentic AI увеличит потребность в хранении больших объёмов «холодных» данных, включая видео, документы и долговременную память.
Исследователь полагает, что в будущем более широкое распространение может получить технология HBF, вариант многослойной NAND-памяти, построенной по принципу HBM. По его прогнозу, через 10 лет спрос на HBF превысит спрос на HBM. В более долгосрочной перспективе Ким Чон Хо также рассматривает HBS, высокоскоростную SRAM-память, которая, по его оценке, сможет работать в 1000 раз быстрее DRAM и использовать массивы SRAM объёмом около 1600 ГБ на одной 12-дюймовой пластине.
Ключевые факты
Ким Чон Хо участвует в исследованиях HBM и 2.5D/3D-упаковки с 2010 года совместно со SK hynix.
Исследователь участвовал в разработке долгосрочной дорожной карты HBM4–HBM8.
Ким Чон Хо описал будущую AI-архитектуру как трёхмерную систему примерно из 100 слоёв с комбинацией HBM, HBF и HBS.
По его оценке, HBS будет использовать SRAM с скоростью чтения и записи в 1000 раз выше по сравнению с DRAM.