Метод sampler + verifier может резко повысить качество кода у моделей размером 0.5B
Участники сообщества обсуждают исследование о том, как можно заметно поднять качество генерации кода у очень небольшой языковой модели размером 0.5B. Речь о связке из нового sampler и дополнительной модели‑проверяющего (verifier). По оценкам авторов обсуждения, такой подход теоретически способен подтянуть результаты примерно до уровня моделей класса 2/3/4B в задачах программирования, при этом исходные веса самой модели не меняются. Об этом пишет r/LocalLLaMA (Reddit).
В основе метода лежит backtrack‑sampler. Если во время генерации модель уходит в неверную ветку, процесс откатывается назад и последовательность пересчитывается заново. За это приходится платить скоростью: декодирование замедляется примерно на 5–30%.
Есть и другие издержки. Нужна отдельная модель‑верификатор сопоставимого размера с основной. В результате требования к VRAM фактически удваиваются, пропускная способность памяти возрастает более чем вдвое, а вычислительная нагрузка увеличивается примерно в 1.5–3 раза.
Отдельно отмечается, что верификатор способен обобщаться на модели того же размера или меньше, если обучался на данных с похожим распределением доменов. При этом обучение такой модели значительно дешевле полного предобучения. Используется специальный набор данных, например PMK, его объём около 0.01% от числа токенов, применявшихся при pre‑training.
Ключевые факты
Комбинация нового sampler и verifier теоретически может поднять качество программирования у модели 0.5B до уровня моделей класса 2/3/4B без изменения её весов.
Backtrack‑sampler приводит к снижению скорости декодирования примерно на 5–30%, поскольку модель может возвращаться и заново генерировать токены.
Метод требует отдельную verifier‑модель примерно того же размера, что и исходная, что удваивает требования к VRAM, более чем удваивает пропускную способность памяти и увеличивает вычислительные требования примерно в 1.5–3 раза.
Обучение verifier требует объёма данных около ~0.01% от числа токенов, использованных при полном pre‑training исходной модели.