Прогресс в AI R&D по данным NanoGPT speedrun: вклад людей и агентов

Исследователи анализируют, насколько AI‑агенты могут ускорять AI R&D и как это меняется со временем. Одним из источников данных стал публичный челлендж NanoGPT speedrun, соревнование по ускорению обучения языковой модели. Его задача, обучить модель до заданного validation loss на FineWeb, используя 8×H100 GPUs, за минимальное время. Подобные таблицы результатов позволяют сравнивать вклад разных участников и отслеживать накопительный прогресс.

В NanoGPT speedrun есть два трека: small (целевой loss 3.28, старт с GPT-2-small 124M params) и medium (целевой loss 2.92, старт с GPT-2-med 350M params). Анализ сосредоточен на small‑треке. С May 2024 по March 2026 36 участников опубликовали 77 рекордов, каждая запись представляет новую версию кода обучения, которая улучшает предыдущее лучшее время. За этот период время обучения сократилось с 45 minutes до 1.43 minutes, что соответствует ускорению в 31x. По состоянию на April 2026 четыре из последних вкладов в таблице результатов приписаны AI‑агентам.

Оптимизации в рамках speedrun связаны с задачами pretraining‑исследований, включая изменения архитектуры, написание kernels и улучшение optimizers. Некоторые решения из этого процесса используются и в более крупных моделях; например, Muon optimizer применялся в GLM-4.5 и Kimi K2. При этом интерпретация таких результатов осложняется несколькими факторами, среди которых contamination обучающих данных моделей, survivorship bias, scale-dependence и вопрос composability с другими частями AI R&D.