DeepSeek 20 октября опубликовала исходный код DeepInfer — движка для инференса, то есть выполнения уже обученных ИИ-моделей. Компания утверждает, что эта технология лежит в основе её крупных рабочих сервисов. Код выпущен под лицензией Apache 2.0.
Открытая версия по умолчанию работает с моделью DeepSeek-V4.1-Flash-1017. Она рассчитана прежде всего на команды, которые хотят запускать модель на собственной вычислительной инфраструктуре вместо обращения к стороннему программному интерфейсу.
DeepInfer распределяет вычисления между ускорителями и совмещает подготовку пакетов запросов с их обработкой. В репозиторий также вошли оптимизированные модули DeepSeek для отдельных операций, асинхронный планировщик и механизм спекулятивного декодирования: модель создаёт несколько черновых токенов, после чего движок проверяет их с учётом оценки уверенности.
Читайте также
Движок умеет ограничивать результат регулярным выражением, схемой JSON или грамматикой EBNF. Такая возможность нужна, например, когда модель подключена к программе и должна возвращать данные в строго заданном формате.
DeepInfer преимущественно основан на открытом проекте vLLM. Разработчики также указывают, что использовали идеи SGLang и TensorRT-LLM.
Опубликованный код нельзя считать готовым сервисом для массового обслуживания пользователей. В релиз не вошли балансировка запросов между копиями модели и компоненты для разделения предварительной обработки и генерации ответа между вычислительными узлами. DeepSeek пишет, что основная функциональность движка для такого разделения уже реализована. Команды, самостоятельно разворачивающие модели, смогут изучать и адаптировать этот код, но полноценную платформу им предстоит собирать самим.
Компания опубликовала собственные тесты на ускорителях Nvidia поколения Blackwell, однако сопоставимого сравнения DeepInfer с vLLM, SGLang или TensorRT-LLM в них нет. Эти результаты не позволяют определить, насколько движок сократит время ответа или расходы в реальной инфраструктуре. Независимых воспроизводимых измерений в день релиза также не представлено.