Китайский разработчик ИИ Deepseek представил систему DSpark для более эффективного использования GPU при работе больших моделей. Технологию создали совместно с исследователями Пекинского университета, сейчас она уже применяется в production. Как сообщает Golem.de, в тестах с Deepseek‑V4 Flash число токенов, генерируемых в секунду на одну GPU, выросло до 661%.
В основе DSpark лежит параллельная спекулятивная декодировка. При стандартной авторегрессионной генерации за один проход создаётся только один токен. Здесь процесс устроен иначе: небольшая модель заранее предлагает несколько вероятных токенов, а большая модель проверяет, подходят ли они. Если в последовательности появляется ошибка, этот токен и все следующие отбрасываются. После этого большая модель создаёт новый токен и задаёт новую точку отсчёта.
По данным Deepseek, максимальный эффект технология даёт в системах с SLA, где пользователям гарантируют минимальную скорость генерации токенов. В таких условиях можно либо увеличить гарантированный throughput, либо обслуживать больше пользователей на одной системе. Для конфигураций без SLA прирост оказался заметно скромнее, около 20% по измерениям компании.
На форуме Nvidia один из пользователей также сообщил примерно о 50% росте скорости генерации токенов при использовании Deepseek‑V4 Flash и DSpark на двух DGX Spark.
Ключевые факты
DSpark разработан Deepseek совместно с исследователями Пекинского университета
В тестах с Deepseek‑V4 Flash заявлен рост количества токенов в секунду на GPU до 661%
В системах без SLA прирост throughput составил около 20% по измерениям Deepseek
Пользователь форума Nvidia сообщил примерно о 50% росте скорости генерации токенов на двух DGX Spark