Пекинский университет и DeepSeek открыли код фреймворка DSpark для ускорения инференса больших языковых моделей

DeepSeek вместе с Пекинским университетом представили фреймворк ускорения инференса DSpark. Он нацелен на устранение узких мест при работе больших языковых моделей под высокой параллельной нагрузкой. Как сообщает IT Home, система уже используется в движке предпросмотровых сервисов DeepSeek-V4-Flash и DeepSeek-V4-Pro. По сравнению с базовой схемой спекулятивного декодирования с одним токеном MTP-1, которая раньше применялась в продакшене, новое решение увеличивает скорость генерации для одного пользователя на 60-85 % при той же пропускной способности. Статья и тренировочный код проекта опубликованы на GitHub.

В традиционной авторегрессионной генерации текста модель выполняет полный прямой проход для каждого нового token, поэтому задержка растет линейно по мере увеличения ответа. Один из способов ускорения называется спекулятивным декодированием. Небольшой вспомогательный модельный блок быстро предлагает несколько кандидатов token, затем основная модель проверяет их одним параллельным проходом и принимает подходящий непрерывный префикс. Такой подход позволяет ускорить генерацию, не меняя распределение выходных данных.

Но эффективность метода упирается в два фактора: насколько качественно генерируются кандидаты и сколько вычислений требуется на их проверку. Существующие решения обычно относятся к двум типам. Первый тип, авторегрессионные черновые модели вроде Eagle3, последовательно создают кандидатов. Второй тип, параллельные модели наподобие DFlash, формируют сразу целый блок кандидатов за один проход. В DSpark используется полуауторегрессионная архитектура. Основной параллельный модуль, основанный на модифицированном DFlash, формирует скрытые состояния и базовые logits для всех позиций. После этого легкий последовательный модуль добавляет зависимость от префикса. Он реализован либо как марковский head, который зависит только от предыдущего token, либо как RNN head, аккумулирующий информацию о префиксе.

Эксперименты показывают, что DSpark с глубиной в два слоя Transformer принимает более длинные последовательности, чем вариант DFlash с пятью слоями, и это наблюдается во всех тестируемых областях. Дополнительно система использует механизм проверки с планированием по уровню уверенности. Модель оценивает для каждого кандидата вероятность его принятия, что помогает точнее распределять вычислительные ресурсы во время проверки.