Энтузиаст обучил с нуля LLM на 500M параметров и генератор изображений на 330M
Разработчик под ником Altruistic-Tea-5612 рассказал о своём проекте HobbyLM. Это набор моделей, обученных с нуля как хобби‑эксперимент, который стартовал в прошлом месяце. Как сообщает r/LocalLLaMA (Reddit), сначала автор написал агентный инструмент на базе Claude SDK. Этот инструмент собирал заметки о разных архитектурах LLM и проводил ablation studies, помогая подобрать оптимальную архитектуру для обучения.
После выбора архитектуры модель HobbyLM прошла предварительное обучение на 40B токенов из fineweb. Затем автор провёл этап post‑training, чтобы расширить контекстное окно. В мультимодальной версии модели для задач понимания изображений используется энкодер SIGLIP.
Параллельно разработчик сделал генератор изображений на 330M параметров. Он вдохновлён архитектурой byte dance Dreamlite. Для обучения использовалась смесь дистиллированных датасетов из mid journey, Flux и CCW3 dataset от google. Обучение проходило на 8xH200 через modal.com, а суммарные расходы на данный момент составили $800.
Веса моделей опубликованы на Hugging Face, включая формат GGUF. Также доступны Playground и репозиторий на GitHub с кодом для обучения и инференса. Автор пишет, что весь процесс обучения оркестрировался с помощью Claude Code, который выступал в роли agentic Harness. Сейчас он также ведёт предварительное обучение следующей модели на 1B параметров.
Ключевые факты
Автор проекта HobbyLM сообщил о предварительном обучении LLM на 500M параметров и генератора изображений на 330M параметров с нуля.
Для предобучения модели использовано 40B токенов из fineweb.
Обучение выполнялось на 8xH200 через modal.com, при этом суммарные затраты на момент публикации составили $800.
Для мультимодальности использован SIGLIP encoder, а генератор изображений построен по архитектуре, вдохновленной byte dance Dreamlite, с датасетами mid journey, Flux и CCW3 от google.