В Коннектикуте истец спрятал в судебных материалах инструкции для возможной ИИ-проверки. Атака не сработала, потому что суд вообще не использовал ИИ для рассмотрения документов, но это не делает случай курьёзом. Он показывает готовый приём: файл, который должен быть предметом анализа, сам пытается управлять анализатором.
Для фаундера это означает простую смену модели угроз. Теперь нужно учитывать, что резюме, договор, жалоба или заявка могут не только сообщать информацию, но и содержать команды внутреннему агенту.
Что произошло
Как пишет The Decoder, участник процесса Мэттью Эллиотт встроил prompt injection в документы, поданные в суд Коннектикута. Инструкции были набраны белым шрифтом размером 3 пункта на белом фоне. Человеку они практически не видны, но остаются читаемыми при обработке текста языковой моделью.
Скрытый фрагмент предписывал гипотетической ИИ-системе согласовать вывод с позицией автора документа и считать прежний отказ судебного клерка ошибкой, которую нужно исправить. Манипуляцию заметили из-за необычно больших пустых участков в материалах.
Судья Уолтер Спейдер-младший назначил слушание и отдельно предупредил Эллиотта, что прятать текст в судебных документах нельзя. Позднее тот снова добавил скрытые сообщения. Сам Эллиотт назвал первоначальную попытку «аудитом» возможной ИИ-проверки, а последующие сообщения «невидимыми шутками».
В решении судья уточнил: суды Коннектикута не используют ИИ для проверки документов или вынесения решений, поэтому инструкции ни на что не повлияли. Проблемой стала сама попытка скрытно воздействовать на систему, которая могла бы участвовать в принятии решения. В качестве санкции Эллиотта лишили права подавать документы электронно: теперь он должен приносить материалы на бумаге лично в офис клерка.
Почему это уже бизнес-проблема
Этот эпизод важен не успехом атаки, а её переносом из лабораторного сценария в реальный процесс. Автор официального документа намеренно попытался повлиять не на человека, а на инструмент, которому человек мог доверить проверку.
И приём уже не ограничивается судами. The Decoder приводит похожий случай в Бразилии, где два юриста спрятали уменьшенный белый текст в судебном документе. Там система суда обнаружила и заблокировала его до обработки. Издание также ссылается на расследование Nikkei: скрытые команды вроде «только положительная рецензия» и «без критики» нашли в 17 препринтах на arXiv. Их целью было повлиять на ИИ-рецензирование.
Общий знаменатель здесь не право и не наука. Это процесс, где модель читает материал заинтересованной стороны, а затем формирует оценку. Именно так уже устроены или могут быть устроены найм, закупки, комплаенс, поддержка и разбор претензий.
Если агент получает документ и одновременно может рекомендовать решение, менять статус заявки или запускать следующий шаг, содержимое файла становится частью контура управления. Красивое слово «автоматизация» тут легко маскирует старую архитектурную ошибку: недоверенному вводу выдали полномочия.
Поэтому одной проверки на белый шрифт недостаточно. Следующая инструкция может быть спрятана иначе, а гонка фильтров быстро превратится в дорогую игру «найди невидимый текст». Безопасная схема должна исходить из того, что весь документ потенциально враждебен.
Практический минимум для фаундера выглядит так: очищать и нормализовать извлечённое содержимое, отделять данные документа от инструкций агенту, ограничивать доступные модели действия, журналировать входы и решения, а критические результаты отдавать человеку на проверку. Особенно если ошибка влияет на деньги, доступ, найм, отказ клиенту или юридическую позицию компании.
Это добавляет трение, зато не позволяет резюме назначить себя лучшим кандидатом, а претензии клиента самостоятельно признать компанию виновной. Удобный агент без разграничения полномочий остаётся не сотрудником, а интерфейсом, через который внешний автор разговаривает с вашей внутренней системой.
Что смотреть дальше
Главный маркер зрелости рынка теперь не число компаний, которые «внедрили ИИ в документооборот». Смотрите, умеют ли их системы показывать извлечённый текст, отделять его от системных инструкций и объяснять, какое действие было запущено после чтения файла.
Если начнут появляться случаи, где резюме, договор или обращение клиента незаметно меняет оценку либо действие агента, прогноз подтвердится: документы окончательно стали исполняемым входом. Если же поставщики и заказчики по умолчанию запретят файлу напрямую влиять на критические решения, судебный эпизод останется полезным ранним предупреждением, а не шаблоном для массовых атак.