Переход от DeepSeek V3 к DeepSeek V3.2: архитектура, sparse attention и обновления RL
В блоге Sebastian Raschka вышел технический разбор перехода от модели DeepSeek V3 к DeepSeek V3.2. В тексте подробно разбираются изменения между версиями: как устроена архитектура модели, как используется sparse attention, а также какие обновления связаны с RL.
Автор обращает внимание на любопытную деталь, новый флагманский релиз команда выпустила во время крупного праздничного уикенда в США, так же в свое время представили и DeepSeek V3. В публикации также отмечается высокая производительность DeepSeek V3.2, именно это и стало одним из поводов для детального технического анализа.
Ключевые факты
Команда выпустила новую флагманскую модель DeepSeek V3.2.
Как и DeepSeek V3, релиз DeepSeek V3.2 состоялся в выходные крупного праздника в США.
В обновлении DeepSeek V3.2 заявлены изменения в архитектуре, Sparse Attention и RL.