На Reddit обсудили, какая dense-модель поместится в 128 ГБ RAM при MXFP4
Пользователь Reddit спросил, какая крупнейшая dense-модель сможет работать при 128 ГБ оперативной памяти с использованием MXFP4. При этом он уточнил, что для него важнее «интеллект» модели, а не скорость работы.
Как пишет r/LocalLLaMA (Reddit), автор сообщения также рассказал, что отказался от подписки на Anthropic. Причиной стало недовольство поведением моделей Claude 5 и предыдущих версий. Других технических деталей или результатов сравнения в исходном посте нет.
Ключевые факты
Пост посвящён запуску dense-модели в пределах 128 ГБ RAM при MXFP4.
Автор сообщения заявил, что для него важнее качество модели, а не скорость работы.
В публикации упоминается недовольство моделями Claude 5 и предыдущими версиями от Anthropic.
Исходный пост не содержит технических тестов, бенчмарков или готового ответа на вопрос.