Сравнение архитектур LLM: от GPT до DeepSeek-V3

Исследователь Sebastian Raschka опубликовал обзор, в котором сравнивает архитектуры больших языковых моделей. Он напоминает: с момента появления оригинальной архитектуры GPT прошло семь лет, и за это время подходы к созданию таких систем заметно изменились.

Чтобы показать эту эволюцию, автор сопоставляет ранние и более поздние модели. В качестве одной из отправных точек он берет GPT-2 (2019), а затем обращается к более свежим разработкам, включая DeepSeek-V3.

Текст сосредоточен на сравнении архитектурных решений в разных поколениях моделей. Через такие сопоставления Raschka показывает, как именно за прошедшие годы менялись принципы проектирования LLM.