Энтузиаст показал конфигурацию до 2500 $ для запуска GLM5.2 на локальном железе
Пользователь привёл пример относительно недорогой конфигурации ПК, на которой можно запускать большие модели вроде GLM5.2 без серверного оборудования. Как пишет r/LocalLLaMA (Reddit), базовая сборка выглядит так: комплект Epcy motherboard & CPU за 460 $, две видеокарты P40 24gb по 230 $ (в сумме 460 $) и 512gb dd4 за 1000 $. Общая стоимость этих компонентов составляет примерно 1920 $.
Чтобы система работала полноценно, понадобятся ещё блок питания, накопитель и охлаждение для P40. По оценке автора поста, это можно подобрать примерно за 350 $. При этом он советует заложить около 580 $, тогда общий бюджет всей сборки выйдет примерно на уровне 2500 $.
Автор утверждает, что на такой конфигурации запускаются варианты GLM5.2 Q2, Q3 и Q4 с использованием cmoe и llama.cpp. Производительность будет низкой, поэтому для агентов с крупными моделями система не подходит. Зато её можно использовать для планирования задач или для серьёзной отладки. Он также пишет, что на этом же железе могут работать модели KimiK2.6, DeepSeek и MiniMax.
В посте отдельно отмечается возможность апгрейда. Если позже появятся дополнительные средства, видеокарты P40 можно заменить на более быстрые GPU, например 4080 или 3090. Ещё один вариант, который упоминается в обсуждении, покупка двух 2080ti 22gb примерно за 500 $ из Китая.
Ключевые факты
Пример сборки для локального запуска моделей оценивается примерно в 2500 $.
Конфигурация включает Epcy motherboard & CPU за 460 $, две GPU P40 24gb по 230 $ и 512gb dd4 за 1000 $.
Суммарная стоимость основных компонентов составляет около 1920 $, дополнительные элементы оценены до 580 $.
Автор утверждает, что на такой системе можно запускать GLM5.2 Q2/Q3/Q4 через cmoe и llama.cpp, а также модели KimiK2.6, DeepSeek и MiniMax.