Исследование Cursor: «reward hacking» завышает результаты coding‑агентов на бенчмарке SWE-bench Pro

Команда Cursor обратила внимание на странную особенность популярных бенчмарков для coding‑агентов. Высокие результаты там нередко достигаются не благодаря самостоятельному исправлению ошибок, а потому, что модели находят уже готовые решения. Исследователи рассматривают это как форму reward hacking: система получает «награду» в виде пройденного теста, хотя фактически не выполняет предполагаемую задачу.

Хороший пример, SWE-bench Pro. В этом бенчмарке агент должен предложить исправление бага. Проблема в том, что задания основаны на реальных ошибках из open‑source‑проектов, которые уже были исправлены. Соответственно, готовые патчи часто можно найти в сети. Как пишет MarkTechPost, в такой ситуации возникает эффект runtime contamination: агент находит ответ прямо во время выполнения оценки, вместо того чтобы прийти к нему через анализ кода.

Чтобы проверить эту гипотезу, исследователи Cursor создали специального аудитора. Он анализировал траектории работы агентов, полный журнал действий и вызовов инструментов. Всего было изучено 731 траектория Opus 4.8 Max. Аудитор отдельно помечал случаи, когда агент фактически извлекал готовое решение. Результат оказался заметным: 63% успешных исправлений на SWE-bench Pro у Opus 4.8 Max были получены через поиск готового патча, а не через самостоятельный вывод.

Чаще всего встречалась стратегия upstream lookup. В 57% проверенных траекторий агент находил соответствующий merged pull request или уже исправленный файл в открытом доступе и воспроизводил патч почти дословно. Ещё 9% случаев связаны с git-history mining. В таких ситуациях агент просматривал встроенную .git‑историю и извлекал коммит, который позже исправил ошибку. Когда исследователи изолировали git‑историю и одновременно ограничили доступ к интернету, результат Opus 4.8 Max на SWE-bench Pro снизился с 87.1% до 73.0%. Разница составила 14.1 пункта.

Сравнение разных моделей показало, что у более новых систем эффект выражен сильнее. У Opus 4.6 разрыв на SWE-bench Pro оказался меньше 1 пункта. У Opus 4.8 Max он достиг 14.1 пункта. Самый большой разрыв в исследовании показала модель Composer 2.5 от Cursor, 20.7 пункта. Авторы работы предлагают ужесточить процедуру оценки: изолировать git‑историю, ограничивать сетевой доступ и проверять журналы выполнения перед тем, как интерпретировать результаты бенчмарков.