Epoch AI представила бенчмарк MirrorCode для оценки автономного программирования ИИ
Исследовательская организация Epoch AI представила MirrorCode, бенчмарк «долгого горизонта» для оценки того, как ИИ справляется с автономным программированием. Проект создан совместно с METR. Как сообщает Epoch AI, в тесте моделям предлагают заново реализовать 25 реальных программ из разных областей, включая bioinformatics, Unix utilities, cryptography и interpreters. При этом им не дают доступ к исходному коду и не помогают люди. По оценке авторов, самые сложные задачи у инженера без поддержки ИИ заняли бы от нескольких недель до нескольких месяцев.
MirrorCode требует заметно большего вычислительного бюджета, чем многие существующие SWE‑тесты. Обычно там расходы ограничены примерно $1–$10 на задачу, а сами прогоны длятся минуты или часы. В MirrorCode масштабы другие. Один из крупнейших экспериментов стоил $2,600 за один запуск, модель работала 19 дней без вмешательства человека. Лучший результат показала Claude Opus 4.7, ей удалось решить 56% задач.
В том же выпуске исследователи описывают финансовые и организационные тенденции вокруг ИИ. Старший исследователь Isabel Juniewicz пишет, что капитальные расходы крупнейших hyperscalers, Microsoft, Amazon, Alphabet, Meta (деятельность Meta признана экстремистской и запрещена в РФ) и Oracle, растут быстрее их операционных денежных поступлений. По её оценке, к концу 2026 года эти расходы могут их превысить. Многие компании уже привлекают внешнее финансирование для инвестиций в AI‑инфраструктуру или рассматривают такую возможность.
Также опубликованы два материала из серии Gradient Updates. Первый анализирует 1,604 вакансий шести крупных китайских AI‑компаний; исследование провели Cheryl Wu, JS Denain и Anson Ho. Второй предлагает таксономию из 60+ задач frontier AI research. Её авторы Joe Kwon, Jean-Stanislas Denain и Anson Ho, цель работы в том, чтобы отслеживать, какие этапы исследований пока остаются неавтоматизированными.
Ключевые факты
Epoch AI и METR представили бенчмарк MirrorCode, где моделям предлагается заново реализовать 25 реальных программ из областей bioinformatics, Unix utilities, cryptography и interpreters без доступа к исходному коду и без участия человека.
Одна из крупнейших задач MirrorCode стоила $2,600 за один запуск и требовала 19 дней непрерывной работы ИИ без вмешательства человека.
В тесте MirrorCode модель Claude Opus 4.7 показала лучший результат с долей успешно решённых задач 56%.
Анализ 1,604 вакансий из шести китайских компаний показал различия в стратегиях ИИ‑лабораторий, а исследователи также предложили таксономию из более чем 60 задач для отслеживания автоматизации AI R&D.