Исследователи связали выводы об ИИ-моделях с выбором метрик производительности
Авторы новой работы исследовали, как разные метрики влияют на выводы о развитии frontier AI-моделей по мере роста вычислительных затрат. Главный вопрос заключается в том, будут ли самые мощные модели все сильнее опережать системы, доступные разработчикам с ограниченным бюджетом, или со временем этот разрыв начнет сокращаться.
Как сообщает arXiv cs.AI (Artificial Intelligence), исследователи пришли к выводу, что ответ зависит не только от объема вычислительных ресурсов, но и от того, какие показатели используются для оценки способностей моделей. По их данным, при анализе validation loss разница между моделями уменьшается. Однако по ряду других метрик frontier-модели продолжают усиливать свое преимущество.
Авторы разделили метрики по их связи с затратами на обучение и инференс, а также вывели математические условия, при которых показатели оказываются более благоприятными для «скромных» моделей. В работе утверждается, что bounded-метрики всегда приводят к такому эффекту. При этом исследователи отмечают: у многих распространенных bounded-метрик есть близкие по смыслу unbounded-аналоги, которые могут приводить уже к противоположным выводам.
Авторы считают, что выбор подходящей метрики становится критически важным для выработки политики и оценки направлений развития ИИ. В статье среди областей, где это особенно важно, упоминаются software engineering и synthetic biology.
Ключевые факты
Авторы исследуют, как выбор метрик влияет на выводы о разрыве между frontier AI-моделями и более доступными системами.
По данным работы, при использовании validation loss разрыв между моделями сокращается, тогда как по другим метрикам лидерство frontier-моделей продолжает расти.
Исследователи вывели математические условия, определяющие, какие метрики благоприятствуют более «скромным» моделям.
В статье утверждается, что bounded-метрики и unbounded-метрики могут приводить к противоположным выводам для политики и оценки ИИ-систем.