Разработчик снизил стоимость генерации изображений, перейдя с API на GPU с поддержкой FP8

Автор эксперимента из fashion-tech стартапа решил сократить расходы на обработку изображений товаров и отказаться от платного API Nano Banana из Google Gemini 2.5 Flash Image, который стоил $0,039 за изображение. При большом каталоге и нескольких вариантах изображений для каждого товара ежемесячные затраты быстро росли. Поэтому он начал тестировать открытые модели, работающие на арендованных GPU.

Как пишет Towards AI, самым подходящим вариантом среди протестированных моделей оказался Qwen-Image-Edit, открытый редактор изображений на 20B параметров от Alibaba. При этом главной проблемой оказалась не сама модель, а выбор GPU и поддерживаемые форматы вычислений. В итоге автор пришел к выводу, что RTX 4090 стал самым доступным GPU с поддержкой FP8 tensor cores, тогда как A100 и RTX 3090 FP8 не поддерживают.

В материале отдельно подчеркивается, что обозначение «8-bit» может скрывать разные типы вычислений: FP8, INT8 и FP4. По словам автора, INT8 weight-only снижает требования к памяти, но не ускоряет вычисления, потому что операции все равно выполняются в bf16. FP8, наоборот, напрямую использует tensor cores, благодаря чему одновременно уменьшается потребление памяти и ускоряется генерация изображений.