METR провела red-teaming внутренних систем мониторинга агентов Anthropic

Сотрудник METR Дэвид Рейн в сотрудничестве с Anthropic провёл трёхнедельное упражнение по red-teaming части внутренних систем мониторинга и безопасности агентов компании. Многие из этих систем описаны в Opus 4.6 Sabotage Risk Report (Appendix 8.4, особенно 8.4.8). Anthropic предоставила исследователю доступ к соответствующим внутренним системам и информации, а также выделила сотрудников, которые отвечали на вопросы и давали обратную связь в ходе работы.

В ходе проверки были обнаружены несколько конкретных новых уязвимостей; часть из них впоследствии была исправлена. При этом найденные проблемы не подрывают ключевые утверждения, сделанные в Opus 4.6 Sabotage Risk Report. Упражнение также привело к созданию ряда артефактов, включая траектории агентов с скрытыми атаками и небольшой тестовый набор для генерации идей атакующих стратегий. Ожидается, что эти материалы помогут дальнейшему улучшению систем мониторинга Anthropic.

По итогам работы подготовлен отчёт объёмом 26 страниц: он был передан Anthropic, а отредактированная версия, части сотрудников METR. Дополнительные детали об этом упражнении включены в Frontier Risk Report (February-March 2026) в разделе Anthropic приложения Appendix B. В METR также рассматривают возможность включить более подробные выводы из этого тестирования в будущие отчёты о рисках и отмечают, что подобные проверки внешними исследователями помогают находить уязвимости и вырабатывать практики внедрения сторонних оценщиков в frontier AI companies.