Автономная система провела пост‑обучение модели 30B Nemotron и заняла 8‑е место на NVIDIA Nemotron‑Reasoning Challenge
Исследователи представили систему A‑Evolve‑Training, которая выполняет цикл пост‑обучения модели без участия человека. Обычно этот процесс занимает недели ручной работы и включает подбор данных и рецептов обучения, запуск экспериментов, анализ оценок и принятие решений о том, какие изменения сохранять. В описанном подходе эти шаги выполняет автономная система: она провела пост‑обучение модели 30B Nemotron в четыре раунда на протяжении нескольких недель.
Итоговая модель, созданная системой, получила результат 0.86 на отложенной проверке на публичном лидерборде NVIDIA Nemotron‑Reasoning Challenge. Для сравнения, лучший человеческий результат составляет 0.87; полученная модель заняла 8‑е место среди примерно 4000 участников на момент написания работы.
Как сообщает arXiv cs.AI (Artificial Intelligence), в процессе работы система обнаружила, что используемая dev‑метрика перестала отражать внешнюю производительность на самом слабом домене: новые кандидаты повышали dev до рекордных значений, но не улучшали внешний целевой показатель. После этого система изменила собственную стратегию поиска, перестала максимизировать dev и стала искать вмешательства, которые снижают вводящую в заблуждение прокси‑метрику, одновременно улучшая внешний показатель. Авторы рассматривают это как проверяемое свидетельство того, что масштабируемый автономный цикл способен не только оптимизировать параметры, но и выявлять проблемы в собственной системе измерений и менять критерии оценки.
Ключевые факты
Представлена автономная система пост‑обучения, которая без участия человека провела цикл улучшений модели 30B Nemotron в четыре раунда на протяжении нескольких недель.
Полученная модель достигла held‑out оценки 0.86 против 0.87 у лучшей человеческой работы в публичном рейтинге NVIDIA Nemotron‑Reasoning Challenge.
На момент публикации результат системы занимал 8‑е место среди примерно 4000 участников лидерборда.
В ходе работы система обнаружила, что dev‑метрика перестала отражать внешнюю производительность на самом слабом домене, после чего изменила стратегию поиска, перестав максимизировать dev и выбирая вмешательства, которые понижали прокси‑метрику, но улучшали внешний целевой показатель.