Qualcomm представила GenieX, runtime для локального инференса генеративных моделей на устройствах с Snapdragon. Платформа умеет запускать GGUF-модели из Hugging Face и заранее собранные пакеты из Qualcomm AI Hub на Hexagon NPU, Adreno GPU и CPU. В основе проекта лежит единый C SDK, доступ к которому открыт через CLI, Python, Kotlin/Java, Docker и OpenAI-совместимый сервер.
Как пишет Hacker News, GenieX позиционируется как community-версия Qualcomm GENIE и работает только на устройствах Qualcomm Snapdragon. Разработчикам доступны сборки для Windows ARM64 и Linux ARM64. Есть и Android-пример с интерфейсом чата и поддержкой VLM. Для пользователей без совместимого устройства Qualcomm предлагает удалённые сессии через Qualcomm Device Cloud.
В документации говорится, что GenieX поддерживает и LLM, и VLM. Для llama.cpp Qualcomm рекомендует использовать точность Q4_0, так как она лучше всего поддерживается Hexagon NPU. Проект уже опубликован на GitHub и принимает внешние pull request.
Ключевые факты
GenieX поддерживает запуск моделей через Hexagon NPU, Adreno GPU и CPU.
Runtime доступен через CLI, Python, Kotlin/Java, Docker и единый C SDK.
Для Android опубликован пример приложения с чат-интерфейсом и поддержкой VLM.
Для llama.cpp Qualcomm рекомендует использовать точность Q4_0 для лучшей совместимости с Hexagon NPU.