21 октября стартап Recursive публично выпустил Flint — модель с открытыми весами для программирования. После июньского анонса компания опубликовала репозиторий с файлами и инструкциями запуска, а OpenHands добавила поддержку Flint с первого дня.
Модель предназначена для исследования репозиториев, исправления ошибок, добавления функций, написания тестов и многошаговой работы с инструментами. Flint использует архитектуру «смеси экспертов»: из 39,8 млрд параметров при обработке каждого фрагмента текста задействуется около 2,5 млрд. Это снижает необходимые вычисления.
Полная версия в формате BF16 рассчитана на один ускоритель NVIDIA H200 или B300. Для компьютеров с Apple Silicon и видеокартами NVIDIA выпущены варианты с пониженной точностью, которые требуют меньше памяти. Журналист Wired Уилл Найт запустил Flint на Mac с 48 ГБ памяти и поручил ей создать несколько небольших программ; по его оценке, модель выполнила все выбранные задания.
Читайте также
При локальном запуске код можно не отправлять на удалённый сервер, работать без подключения к интернету и не платить облачному сервису за обработанные токены. Веса опубликованы по лицензии Apache 2.0, которая разрешает их изменять и использовать в коммерческих проектах. Flint также можно подключить к OpenHands, где модель управляет агентом, способным читать файлы, выполнять команды и запускать тесты.
В разработке Flint участвовала Eureka Machine — автоматизированная исследовательская система Recursive. Она предлагала, реализовывала и проверяла решения для архитектуры, обучения, уменьшения размера модели и оптимизации вычислений под конкретные чипы. По данным компании, небольшая команда людей и ИИ-агентов создала Flint с нуля менее чем за четыре месяца.
По собственным тестам Recursive, Flint опережает другие модели со «смесью экспертов» размером до 50 млрд параметров в задачах агентного программирования и сопоставима с полными моделями на 25–40 млрд параметров, работая более чем в пять раз быстрее. Компания сообщает о скорости свыше 125 токенов в секунду на MacBook Pro с M4 Pro и свыше 150 токенов в секунду на NVIDIA RTX Spark при коротком контексте.
Recursive предупреждает, что Flint может требовать более подробных инструкций, чем крупные закрытые помощники. Сложные задачи рекомендуется делить на этапы, созданный код проверять, а агентам ограничивать права доступа: модель способна допускать ошибки и некорректно вызывать инструменты.