Пользователь AMD Strix Halo сообщил о работе NPU и гибридного режима для локальных LLM
Владельцы устройств на базе AMD Strix Halo с NPU и iGPU могут использовать гибридный режим для запуска локальных LLM. Как сообщает r/LocalLLaMA (Reddit), один из пользователей системы на AMD Ryzen 395 Max AI+ рассказал о своем опыте.
Долгое время он запускал модели только через GGUF и Vulkan. Ситуация изменилась после развития программного стека ROCm: появилась возможность задействовать NPU.
По его словам, такие устройства особенно выигрывают от так называемого Hybrid Mode. В этом режиме вычисления делятся между NPU и GPU. NPU занимается PromptProcessing и работает параллельно с графическим процессором. При этом некоторые модели могут запускаться исключительно на NPU, если они специально подготовлены под такую схему. В качестве примера упомянуты модели FastFlowLM NPU.
Для проверки работы пользователь советует инструмент Lemonade, ориентированный на Ryzen AI и разрабатываемый в сотрудничестве с AMD. Интерфейс у программы минималистичный. По его словам, он не подходит для полноценного agentic, chat или harness использования, но позволяет быстро проверить, поддерживает ли система нужное оборудование.
В дальнейшем автор хотел бы увидеть гибридные модели с поддержкой MTP. Он также отмечает, что Qwen 3.6 использует технологию ускорения от Unsloth. Для работы с такими моделями AMD публикует рекомендации по «new processor shapes», потому что GGUF 3.6 нельзя просто конвертировать в ONNX.
Ключевые факты
Пользователь устройства с AMD Ryzen 395 Max AI+ сообщил, что спустя примерно год после покупки смог задействовать NPU для задач с LLM.
Серия устройств Strix Halo сочетает NPU и iGPU, что позволяет запускать гибридный режим, где обработка запросов выполняется на NPU параллельно с работой GPU.
Для тестирования гибридного режима предлагается использовать инструмент Lemonade, ориентированный на Ryzen AI и разработанный при взаимодействии с AMD.
В тексте упоминается, что модели Qwen 3.6 используют технологию ускорения от Unsloth, а для работы с ними AMD опубликовала руководство по подготовке «new processor shapes», поскольку GGUF 3.6 нельзя просто конвертировать в ONNX.