Epoch AI предложила таксономию задач для отслеживания автоматизации AI R&D
В рассылке Gradient Updates исследователи разбирают, как обычно пытаются прогнозировать развитие ИИ. Часто такие оценки строят через экстраполяцию трендов, опираясь на показатели вроде compute, data и energy. В качестве примера приводят работу Situational Awareness: там показатель «effective compute» продлевают на пять лет вперёд, до момента предполагаемой автоматизации AI research. При этом авторы подчёркивают, что подобные входные параметры служат лишь приблизительными прокси и не отражают реальные возможности систем напрямую.
Есть и другой подход. Он опирается на длину задач, которые способны выполнять системы ИИ. Под «length» понимают время, которое требуется квалифицированному человеку. Такой метод использовали в METR для метрики «time horizon», её затем экстраполировали в сценарии AI 2027, пытаясь оценить момент, когда системы станут «superhuman coders» и приблизятся к автоматизации AI R&D. Однако авторы отмечают проблему: бенчмарки, лежащие в основе этой метрики, охватывают далеко не все реальные задачи и сложности исследовательской работы.
В качестве альтернативы предлагается другой путь. Исследователи составляют подробный список задач, из которых складывается AI R&D, чтобы точнее видеть, какие части работы уже поддаются автоматизации. В статье показана первая версия такой таксономии: шесть категорий, описывающих рабочий процесс research во frontier AI company. Внутри них более шестидесяти задач, каждая получила оценку от 0 до 5 по степени автоматизации текущими системами. Полную таксономию опубликовали в companion doc; авторы рассматривают её как первую попытку системно описать набор задач, из которых формируется AI R&D.
Ключевые факты
Авторы предложили таксономию задач AI R&D с 6 категориями, охватывающими исследовательский рабочий процесс frontier‑компании.
В таксономии перечислено более 60 задач; для каждой дана оценка от 0 до 5 по степени автоматизации текущими системами ИИ.
METR предложила метрику «time horizon», которая измеряет длину задач, выполняемых ИИ, через время, которое на них тратит квалифицированный человек.
В сценарии AI 2027 метрика «time horizon» экстраполировалась для прогноза момента, когда ИИ станет «superhuman coders» перед автоматизацией AI R&D.