OpenAI и Broadcom представили чип Jalapeño для инференса LLM

OpenAI и Broadcom представили специализированный AI‑чип под названием Jalapeño, предназначенный для задач инференса больших языковых моделей (LLM). Решение разработано как кастомный чип, ориентированный на выполнение моделей после обучения.

Как сообщает OpenAI News, Jalapeño создан для повышения производительности и эффективности работы LLM‑систем, а также для масштабирования вычислений, необходимых при их использовании. Чип оптимизирован именно под инференс, этап, на котором модели применяются для генерации ответов и выполнения задач.

По замыслу разработчиков, использование специализированного аппаратного решения должно помочь улучшить эффективность работы AI‑систем и поддержать их масштабирование по мере роста нагрузок и применения больших языковых моделей.