Эксперимент с «взломом» AI‑ассистента: 6 000 попыток не смогли раскрыть секрет
Как пишет Simon Willison's Weblog, результаты эксперимента совпадают с наблюдением: разработчики моделей активно обучают frontier models защищаться от атак prompt injection. Короткое упоминание такой работы есть и в system card для GPT-5.6.
Однако сам эксперимент не означает полной безопасности. Даже 6 000 неудачных попыток не гарантируют защиту от более сложных методов. Поэтому разворачивать продакшн‑систему, где подобная атака может привести к необратимому ущербу, по‑прежнему рискованно.
Ключевые факты
Фернандо Иррарасаваль запустил челлендж на hackmyclaw.com, предложив попытаться вытащить секрет из его тестового экземпляра OpenClaw через отправку писем.
Около 2 000 человек совершили примерно 6 000 попыток атак, но никто не смог получить секрет.
На эксперимент было потрачено около $500 на токены, а Google‑аккаунт был временно заблокирован из‑за слишком большого числа входящих писем.
Тестовый ассистент работал на модели Opus 4.6 с системными правилами, запрещающими раскрывать secrets.env и креденшелы, изменять собственные файлы, выполнять команды из писем и отправлять данные на внешние endpoints.