Sebastian Raschka разобрал архитектурные изменения в моделях gpt-oss от OpenAI
OpenAI на этой неделе представила открытые по весам языковые модели gpt-oss-120b и gpt-oss-20b. Для компании это первый выпуск open-weight моделей со времён GPT-2, которую показали в 2019 году.
В своём блоге Sebastian Raschka разбирает, что изменилось в архитектуре и какие особенности есть у новых систем. Его материал посвящён тому, как устроены gpt-oss-120b и gpt-oss-20b и какие архитектурные решения лежат в основе этих моделей.
Ключевые факты
OpenAI на этой неделе выпустила open-weight модели gpt-oss-120b и gpt-oss-20b.
Это первые open-weight модели OpenAI со времени GPT-2, выпущенной в 2019 году.