В блоге NVIDIA описан подход к ускорению обучения моделей с использованием JAX и MaxText с NVFP4 на NVIDIA Blackwell. Авторы отмечают, что скорость предварительного обучения frontier LLMs прежде всего упирается в пропускную способность.
Когда обучение охватывает trillions of tokens и выполняется на thousands of accelerators, любая мелочь начинает иметь значение. Даже лишний процент в step time со временем накапливается: это могут быть дополнительные дни работы и заметный рост compute costs.
Среди параметров, которые сильнее всего влияют на эффективность обучения, выделяют numerical precision. При этом low-bit mixed-precision pretraining внедрять непросто, такая схема требует очень аккуратной настройки.
Ключевые факты
В материале рассматривается ускорение обучения моделей с использованием JAX и MaxText с форматом NVFP4 на NVIDIA Blackwell.
Предобучение frontier LLM может включать триллионы токенов и выполняться на тысячах ускорителей.
Даже каждый дополнительный процент времени шага обучения может суммарно добавлять дни к обучению и увеличивать вычислительные затраты.
Численная точность названа одним из наиболее влиятельных параметров при обучении, при этом низкобитное смешанное предобучение описывается как сложная задача.