SDXL запускают локально в браузере через WebGPU с помощью расширения с открытым кодом
Разработчик показал способ генерировать изображения с SDXL прямо в браузере через WebGPU. Всё оформлено как браузерное расширение. После установки оно загружает модель и выполняет генерацию на GPU пользователя в офлайн‑режиме. Части модели, text encoders, UNet и VAE, представлены в виде ONNX‑графов и запускаются через WebGPU‑стек браузера.
Как сообщает r/LocalLLaMA (Reddit), сейчас доступны две версии модели. Первая, SDXL-Lighting fp16, занимает около ~7 GB хранилища. Вторая, 4-bit вариант для менее мощных видеокарт, около ~3.6 GB. Для полной версии требуется примерно ~8 GB VRAM, для 4-bit модели около ~4-5 GB VRAM. Нужен браузер с поддержкой WebGPU: Chrome или Edge версии 122+ либо последняя версия Firefox.
При загрузке модели интерфейс может «зависать» примерно на 10 секунд. Похожая пауза иногда возникает и в конце генерации. Автор связывает это с синхронной компиляцией WebGPU‑шейдеров внутри GPU‑процесса Chrome. Использование Web Worker проблему не убирает. По его наблюдениям, на 14" MacBook M4 создание одного изображения занимает около 50–60 секунд.
Ключевые факты
Браузерное расширение запускает генерацию изображений локально на GPU пользователя через стек WebGPU и работает офлайн после загрузки модели.
В реализации используются ONNX‑графы для text encoders, UNet и VAE, выполняемые в WebGPU внутри браузера.
Поддерживаются две модели: SDXL-Lighting fp16 (~7 GB хранения, требуется ~8 GB VRAM) и 4‑битная версия (~3.6 GB хранения, требуется ~4–5 GB VRAM).
По словам автора, на MacBook M4 14" генерация одного изображения занимает примерно 50–60 секунд; при загрузке модели и в конце генерации наблюдается около 10 секунд зависания из‑за синхронной компиляции шейдеров WebGPU в процессе GPU Chrome.