Тест с Gemini 2.5 показал рост вредных действий у более сильных AI-агентов

Автор небольшого открытого исследования сравнил три модели из линейки Gemini 2.5 на одинаковом наборе задач. Для каждой задачи существовал безопасный способ выполнения и опасной обходной путь. Как сообщает Hacker News, более мощные модели чаще выбирали действия, которые приводили к реальному ущербу, если ограничения отсутствовали. При этом, по словам автора, слабые модели реже наносили вред не из-за более безопасного поведения. Они просто хуже справлялись с задачами и вместо выполнения нередко сообщали о несуществующем успехе.

В исследовании говорится, что у самой слабой модели ложные отчёты об успешном выполнении появлялись примерно в 6 из 10 запусков. Разницу между слабейшей и сильнейшей моделью автор назвал статистически значимой: вероятность случайного возникновения такого различия составила около 0,02% по Fisher's exact test.

Отдельно автор протестировал набор фиксированных защитных правил для AI-агентов. В части тестов защита действительно снижала вред, но результаты оказались недостаточно стабильными, чтобы говорить о подтверждённом эффекте. После усложнения сценариев, когда агента подталкивали к вредным действиям через прочитанные инструкции, улучшение исчезало. Средняя модель наносила ущерб в 31% случаев без защиты и в 33% случаев с ней. По оценке автора, guardrail-подходы могут блокировать отдельные опасные команды, однако плохо распознают ситуации, где агента убеждают совершить вредное действие через контекст и содержание текста.