Разработчики AI-чипов смещают фокус с обучения моделей на скорость inference

Рынок AI-оборудования все заметнее разделяется на два направления: обучение моделей и их повседневный запуск. Как говорится в материале Towards AI, в сегменте обучения крупных моделей Nvidia фактически доминирует благодаря сочетанию GPU и экосистемы CUDA. При этом основная конкуренция постепенно смещается в inference, то есть запуск моделей для обработки пользовательских запросов.

Автор пишет, что обучение модели является разовой задачей, тогда как inference выполняется миллиарды раз в день. В такой среде особенно важным становится время отклика, поскольку задержки напрямую влияют на пользовательский опыт. По мнению автора, универсальные GPU Nvidia изначально не создавались специально под гонку за минимальной latency при inference, и этим пользуются разработчики специализированного оборудования.

В тексте отдельно упоминаются Cerebras, Groq, d-Matrix, Etched и Taalas. Все они подходят к задаче по-разному. Одни переосмысляют работу памяти, другие меняют архитектуру самих чипов. При этом компании не пытаются конкурировать с Nvidia в обучении моделей и делают ставку именно на ускорение inference.