Адаптивный роутинг подсказок улучшил работу LLM‑репетитора для старшеклассников
Исследователи представили систему LLM‑репетиторства для старшей школы с адаптивным выбором подсказок, учитывающим учебный предмет. Подход основан на 14 педагогических признаках, включая tutor scaffolding и student understanding, которые извлекаются из сырых транскриптов диалогов. На их основе модель определяет, какую стратегию подсказки использовать в ходе обучения.
Сначала авторы обучили модель маршрутизации подсказок в симуляционной среде, после чего развернули систему для онлайн‑адаптации в работе с реальными старшеклассниками. В симуляционном бенчмарке роутер превзошёл два статических базовых метода: 0.694 против 0.647 и 0.64 при p<0.001.
A/B‑тестирование с участием 359 учеников (N=656 диалогов) показало перенос результатов из симуляции в реальную среду: модель переключается между аналитической стратегией и стратегией scaffolding. Адаптивный механизм выбора подсказок повышает эффективность обучения, сохраняет педагогическое качество и сокращает взаимодействие примерно на 3 хода (p=0.007).
При этом greedy‑роутер показал сопоставимую с базовым методом конверсию выполнения упражнений, 19.1% против 19.6%. Стохастический роутер, который выбирает стратегии с семплированием, продемонстрировал более высокий показатель, 28.1%.
Ключевые факты
В симуляционном бенчмарке модель маршрутизации подсказок показала результат 0.694 против 0.647 и 0.64 у двух статичных базовых систем (p<0.001).
A/B‑тестирование на 656 диалогах с участием 359 старшеклассников показало перенос из симуляции в реальное использование, где система переключается от аналитической стратегии к стратегии педагогического «scaffolding».
Адаптивный механизм выбора подсказок сократил число взаимодействий примерно на 3 хода при сохранении педагогического качества (p=0.007).
Стохастический роутер стратегий дал более высокий показатель конверсии упражнений, 28.1% против 19.1% у жадного роутера и 19.6% у базовой системы.