Эксперимент показал, что процедурный «каркас» от крупной модели может улучшить результаты меньших моделей

Исследователь провёл ручной эксперимент, чтобы проверить простую гипотезу: может ли большая языковая модель передать меньшей часть своих процедурных навыков без fine-tuning. Небольшие модели обычно понимают синтаксис, знакомы с библиотеками и в целом улавливают задачу, но результаты часто получаются поверхностными. Им не хватает планирования, чёткой иерархии и последовательной структуры действий.

Чтобы разница проявилась нагляднее, для теста выбрали задачи на Three.js. В такой среде итоговый рендер быстро показывает, продумана ли сцена: как устроена геометрия, где расположена камера, есть ли логика в освещении и композиции. Описание эксперимента и первые результаты автор выложил на r/LocalLLaMA (Reddit).

В тесте было два типа задач. Первая, сцена с персонажами в стиле Thriller, с анимацией, освещением и постановкой. Вторая, модель башни BMPT-72 в низкополигональном стиле, где важен узнаваемый силуэт. Сначала большая и меньшая модели выполняли обе задачи обычным способом. Затем большая модель разобрала слабые места меньшей в первой задаче и составила процедурный scaffold, по сути набор инструкций о том, как организовать процесс. При этом вторую задачу она не видела и не знала, что именно станет следующим тестом.

После добавления этого scaffold меньшую модель запустили снова. На более сильной DeepSeek V4 Pro эффект оказался умеренным. Освещение стало аккуратнее, сцена выглядела цельнее, улучшилось художественное оформление, хотя базовая структура и раньше была довольно корректной. Гораздо заметнее изменения проявились у Qwen 27B и у модели 35B A3, квантованной до Q3_K_M. Без каркаса сцены нередко выглядели как набор примитивов в тёмном пространстве с неудачной иерархией. С scaffold появлялась более читаемая сцена, персонажи лучше отделялись друг от друга, среда становилась структурированной, а освещение выразительнее.

Во второй задаче, где нужно было собрать башню BMPT-72, улучшения тоже оказались заметными. Базовый результат больше напоминал тёмный угловатый объект. Версия со scaffold давала более понятную форму корпуса, лучше организованную структуру башни, осмысленное размещение вооружения и более читаемый силуэт.

Автор подчёркивает, что это не формальный бенчмарк. Пока речь идёт о первом ручном тесте. Его цель простая: понять, достаточно ли заметен эффект, чтобы переходить к автоматизированным проверкам.