Энтузиаст создал офлайн‑подборщик GPU‑сборок для оценки запуска локальных моделей и их скорости
Разработчик показал простой инструмент, который помогает подобрать конфигурацию ПК для локального запуска ИИ‑моделей. Это всего лишь одна автономная HTML‑страница без бэкенда, аккаунтов и какого‑либо отслеживания. Файл можно открыть прямо через file://. Пользователь выбирает комплектующие, а страница оценивает, какие модели поместятся в такую систему и какой скорости декодирования можно ожидать. Как сообщает r/LocalLLaMA (Reddit), автор исходил из практической задачи при сборке машин на базе NVIDIA 3090. Его интересовала не стоимость, а другое: запустится ли нужная модель на конкретной конфигурации и насколько быстро она будет работать.
По сути это визуальный интерфейс к одному файлу catalog.json. Инструмент рассчитывает параметры запуска: сколько памяти займет модель, поместится ли она в VRAM, понадобится ли выгрузка в RAM или запуск вообще окажется невозможным. Там же выводится прогноз по скорости decode и prefill и условный «capability score». Модель декодирования считается ограниченной пропускной способностью памяти и откалибрована по реальным измерениям на 3090.
Цены комплектующих в каталоге помечены по происхождению данных: sourced, estimate или stale. Так сразу видно, насколько свежая информация. Можно вставить URL товара, тогда цена извлекается автоматически через CORS‑proxy. Если страницу прочитать не удается, инструмент прямо сообщает об этом и не подставляет никаких значений. Волатильные цены обновляются раз в неделю через GitHub Action.
Автор также пересмотрел расчет для MoE‑моделей. Сначала скорость считалась по общему числу параметров, из‑за этого система с 120B-A12B показывала около 13 t/s. Когда в формуле начали учитывать только активные параметры, результат стал ближе к реальности: около 67 t/s при размещении модели в VRAM на конфигурации с 4×3090. В качестве ориентиров для калибровки приведены такие значения: dense 27B ≈ 40 t/s, 35B-A3B ≈ 87 t/s, 70B ≈ 18 t/s на одной 3090 и 120B-A12B MoE ≈ 67 t/s на 4×3090. Среди примеров есть несколько сборок: $2.2k single-3090 starter, рабочая станция автора 4×3090 96GB, сервер 192GB 8×3090 дешевле $25k и конфигурация 4× RTX PRO 6000 384GB (~$43k).
Ключевые факты
Автор создал офлайн‑инструмент выбора конфигурации GPU в виде одного HTML‑файла без бэкенда, который открывается локально и использует один файл catalog.json для расчётов.
Оценка скорости декодирования откалибрована по реальным измерениям на NVIDIA 3090; ориентиры: dense 27B ≈ 40 t/s, 35B-A3B ≈ 87 t/s, 70B ≈ 18 t/s.
Для MoE‑моделей расчёт исправлен так, чтобы учитывать активные параметры; для 120B-A12B указана скорость ≈ 67 t/s при размещении модели в VRAM на конфигурации 4×3090.
В инструмент включены эталонные сборки: стартовая система с одной 3090 за $2.2k, рабочая станция 4×3090 96GB, сервер 8×3090 192GB дешевле $25k и конфигурация 4× RTX PRO 6000 384GB примерно за $43k.