Законы масштабирования в глубоком обучении: как связаны размер модели, данные и вычисления
Законы масштабирования считают одним из ключевых эмпирических наблюдений в глубоком обучении. Их суть проста: значение training loss L предсказуемо уменьшается, когда растут размер модели N, объём датасета D и доступные вычисления C.
Это уменьшение подчиняется степенному закону. Если построить график с логарифмическими осями, зависимость выглядит как прямая линия. Такая форма помогает описать, как изменение ресурсов, параметров модели, данных и вычислительной мощности влияет на итоговую ошибку обучения.
Как пишет Lil'Log (Lilian Weng), законы масштабирования можно рассматривать как практическую рамку для понимания связи между compute, loss, размером модели и объёмом данных. В центре этой идеи стоит вопрос: как лучше распределять ограниченные вычислительные ресурсы между ростом N и увеличением D.
Ключевые факты
В deep learning наблюдается закономерность: training loss L предсказуемо уменьшается при увеличении размера модели N, размера датасета D и объёма вычислений C.
Зависимость между масштабированием и loss описывается степенным законом и выглядит как прямая линия на log‑log графике.
Scaling laws рассматриваются как фреймворк для описания связи между compute, loss, размером модели и объёмом данных.
Ключевой вопрос в рамках scaling laws, как оптимально распределять доступный compute между параметрами N и D.