VibeThinker-3B: компактная reasoning‑модель на базе Qwen2.5-Coder-3B с результатами уровня крупных систем
Исследователи из Sina Weibo Inc представили VibeThinker-3B, компактную reasoning‑модель на 3 млрд параметров. Она построена на базе Qwen2.5-Coder-3B и распространяется по лицензии MIT. Модель рассчитана на задачи, где результат можно проверить автоматически: математика, программирование и другие дисциплины STEM. При этом разработчики отдельно уточняют, что для задач с широкими знаниями в открытых предметных областях лучше подходят более крупные универсальные модели.
VibeThinker-3B не обучали с нуля. Команда провела пост‑обучение поверх базовой модели, используя supervised fine-tuning, reinforcement learning и self-distillation. Основой процесса стал принцип Spectrum-to-Signal (SSP), который уже применялся в VibeThinker-1.5B. Сначала на этапе SFT формируется широкий набор корректных цепочек рассуждений, так называемый «Spectrum». Затем reinforcement learning усиливает наиболее правильные траектории, формируя «Signal». Пайплайн включает двухэтапный curriculum‑based SFT, сохранение разнообразия решений через Diversity-Exploring Distillation и multi-domain Reasoning RL с применением MaxEnt-Guided Policy Optimization (MGPO). Обучение проходит последовательно на задачах Math, Code и STEM, используется единое окно контекста 64K.
Весы модели в формате BF16 занимают около 6 GB, поэтому её можно запускать на одном GPU. Для работы нужны transformers>=4.54.0. Если требуется более быстрая инференция, разработчики рекомендуют vLLM==0.10.1 или SGLang>=0.4.9.post6.
На бенчмарке AIME26 модель набирает 94.3, результат сопоставим с DeepSeek V3.2 (671B) и Kimi K2.5 (1T). На LiveCodeBench v6 показатель составляет 80.2 Pass@1. На OJBench модель получает 38.6, на HMMT25, 89.3, на BruMO25, 93.8. В наборе IMO-AnswerBench, который включает 400 задач уровня IMO, результат равен 76.4. Версия VibeThinker-3B +CLR показывает ещё более высокие показатели: 97.1 на AIME26 и 95.4 на HMMT25, а на IMO-Ans, 80.6.
Отдельно проверялась устойчивость модели на задачах вне обучающего распределения. В тесте с задачами LeetCode weekly и biweekly contests за период с Apr 25 по May 31, 2026 модель успешно прошла 123 из 128 первых отправок на Python. Это соответствует 96.1% принятия решений на ранее не встречавшихся задачах.
Ключевые факты
VibeThinker-3B, модель на 3 млрд параметров, построенная на базе Qwen2.5-Coder-3B и выпущенная под лицензией MIT исследователями из Sina Weibo Inc (China).
На бенчмарке AIME26 модель набирает 94.3, что сопоставимо с результатами DeepSeek V3.2 (671B) и Kimi K2.5 (1T).
На LiveCodeBench v6 модель показывает 80.2 Pass@1, а на наборе IMO-AnswerBench из 400 задач достигает результата 76.4.
В тесте на задачах LeetCode из еженедельных и двухнедельных контестов с 25 апреля по 31 мая 2026 года модель приняла 123 из 128 Python-решений с первой попытки (96.1%).