В сообществе разработчиков снова спорят о так называемых «vibe‑coded» проектах, небольших инструментах, которые создают при активной помощи ИИ. Одни считают такие работы слишком узкими и почти бесполезными на практике. Другие смотрят на них иначе: даже маленькие эксперименты могут быть полезны, если они помогают обмениваться идеями и развивать совместные проекты в духе open source.
Как пишет r/LocalLLaMA (Reddit), в обсуждении всплыл пример интереса крупных компаний к компактным моделям. По словам автора поста, Google проводит хакатоны вокруг небольших моделей, в том числе Gemma 4 31B. Один из аргументов в их пользу, очень высокая скорость инференса, около 1500 tokens per second.
Автор поста добавляет, что такие показатели, по его словам, примерно в 50–100 раз выше того, что обычно удаётся получить при локальном запуске моделей. Из этого он делает вывод: даже крупные технологические компании рассматривают небольшие модели как перспективный инструмент для разработки программного обеспечения с поддержкой ИИ.
Ключевые факты
В посте утверждается, что Google проводит хакатоны вокруг небольших моделей, включая Gemma 4 31B.
Заявленная скорость инференса составляет около 1500 tokens per second.
По словам автора обсуждения, это примерно в 50–100 раз быстрее типичных локальных запусков моделей.