METR раскритиковала обоснование раздела о рисках автоматизации R&D в отчёте Anthropic
METR опубликовала внешнюю рецензию на раздел «Risks from automated R&D» из Anthropic Risk Report: February 2026. Организация подготовила два документа, original review и updated review. При этом она советует ориентироваться именно на original review, поскольку он отражает оценку отчёта в том виде, в каком рецензенты получили его изначально. В центре обзора находится утверждение отчёта о том, что катастрофический риск от автоматизации R&D моделью Claude Opus 4.6 или менее способной моделью Anthropic в любой области является очень низким.
В METR считают, что аргументы, приведённые в отчёте, не дают достаточных оснований для такого вывода. Рецензенты обращают внимание на проблемы с аналитической строгостью и интерпретацией результатов опроса об использовании моделей. По их мнению, размер выборки, степень детализации вопросов и формулировки опроса, а также результаты предыдущих исследований METR о сложности получения калиброванных ответов делают эти данные слабой основой для оценки общего уровня риска. Отдельно отмечается, что в отчёте не рассматривается возможность значительного ускорения AI R&D вплоть до полной автоматизации.
Есть и замечание к представлению данных опроса. По словам METR, в отчёте один отсутствующий ответ на вопрос был засчитан как отрицательный. Организация предлагает пересмотреть внутренние опросы об использовании моделей: изменить формулировки вопросов, увеличить размер выборки, добавить более детализированные варианты ответов. Также предлагается публиковать и другие источники доказательств, которые могут выступать индикаторами прогресса AI.
При этом METR подчёркивает, что после первоначального выпуска Opus 4.6 появились дополнительные данные, в том числе результаты METR evaluations и отсутствие публичных сообщений о том, что модель автоматизирует R&D в ключевых областях. Поэтому рецензенты соглашаются с итоговым выводом отчёта: риск катастрофы из‑за автоматизации R&D моделью Opus 4.6 или менее способной моделью Anthropic очень низок. Однако, по их мнению, приведённых в самом отчёте доказательств для такого вывода недостаточно.
Ключевые факты
METR провела внешний обзор раздела «Risks from automated R&D» в отчёте Anthropic Risk Report за February 2026.
В отчёте утверждается, что катастрофический риск от автоматизации R&D моделью Claude Opus 4.6 или менее способной моделью Anthropic является очень низким.
METR заявила, что представленные в отчёте данные и анализ недостаточно обосновывают этот вывод и указала на проблемы с аналитической строгостью и интерпретацией результатов опроса использования модели.
При этом METR согласилась с итоговым выводом отчёта о очень низком риске от Opus 4.6 или менее способной модели, ссылаясь на дополнительные свидетельства после релиза Opus 4.6 и отсутствие публичных сообщений об автоматизации ключевых областей R&D.