Разработчики tensorless сообщили, что запустили открытую модель Qwen3.8-27B на серверной видеокарте Tesla P100 2016 года и увеличили скорость генерации с 7,74 до 30,06 токена в секунду. Результаты эксперимента они опубликовали 10 ноября. По оценке авторов, такая карта с 16 ГБ памяти стоит на вторичном рынке около $100.
Для запуска потребовались не просто сжатие модели и готовый движок. Команда создала собственный 3-битный формат весов PN3, рассчитанный на архитектуру P100, и доработала движок tensorless. Получившийся файл Qwen3.8-27B-PN3 занимает 12,1 GiB. На видеокарте одновременно помещаются модель и контекст на 65 536 токенов.
Авторы объясняют необходимость отдельного формата возрастом ускорителя: Tesla P100 не поддерживает современные инструкции для операций с низкой разрядностью, на которые рассчитывают многие актуальные движки. Поэтому уменьшить файл было недостаточно — требовалось изменить способ распаковки и обработки весов.
Читайте также
В ходе пятидневного этапа оптимизации автоматические агенты предложили изменения движка, а отдельная проверяющая система измеряла каждую версию на реальной P100. Она оценила 131 изменение: 28 дали подтверждённый прирост скорости, 27 последовательно стали лучшими версиями. Крупные скачки дополнительно проверялись на корректность и устойчивость результата.
Сжатая модель выполнила 11 из 12 условий проверки качества и не достигла одного порога. Дополнительный тест показал, что основная часть отклонения связана с 3-битным представлением весов, а не с быстрыми вычислительными ядрами. Владелец проекта принял этот компромисс и продолжил оптимизацию скорости.
Qwen3.8-27B — плотная модель на 27 млрд параметров, способная работать с текстом, изображениями и видео. Её нативное контекстное окно составляет 262 144 токена, тогда как конкретная сборка для P100 ограничена 65 536 токенами. Файлы официальной модели совместимы с Transformers, vLLM, SGLang и другими инструментами, но экспериментальная PN3-сборка требует движка tensorless.
Результат не означает, что любая модель на 27 млрд параметров заработает с такой скоростью на любой дешёвой видеокарте. Замер относится к одной модели, специальному формату весов, определённой версии движка и Tesla P100.
Опубликованная сборка позволяет локально запускать Qwen3.8-27B на P100 без облачного API, но требует движка tensorless и допускает потерю качества.