Военные самолёты США уже находились в воздухе, когда чиновники обнаружили: разведданные для вооружённой операции против китайского судна выдумал AI-чатбот. Операцию отменили в последний момент. Главный сбой здесь не в том, что LLM ошиблась, а в том, что её ответ сумел переодеться в официальный документ и подняться по цепочке командования.
Как пишет TechCrunch со ссылкой на CNN, инцидент произошёл весной, во время войны с Ираном. В разведывательном отчёте утверждалось, что судно перевозит компоненты для программы создания ядерного оружия. Эта информация оказалась ложной.
Ошибка возникла у аналитика Командования специальных операций США. Он попросил чатбот объединить открытые данные с засекреченной радиоэлектронной разведкой. Модель неверно определила содержимое грузового манифеста.
После этого аналитик снова использовал тот же инструмент, уже для оформления ошибочного вывода в похожую на официальную сводку. Документ разошёлся по командным каналам. К моменту проверки операция уже началась.
Опасна не галлюцинация, а потеря происхождения факта
LLM регулярно выдают убедительный текст независимо от того, насколько надёжно он подтверждён. Но в этом случае интерфейс и процедура добавили ошибке институциональный вес: сначала модель сформулировала вывод, затем сама помогла упаковать его в формат, которому привыкли доверять.
Так исчезло происхождение информации, то есть видимая связь каждого утверждения с первичным источником. Читатель сводки видел готовый ответ, но не обязательно видел, где заканчиваются данные и начинается машинная интерпретация. Хорошо оформленная галлюцинация оказалась опаснее плохо оформленной именно потому, что не выглядела как гипотеза.
Военные внедряют AI ради скорости. Пентагон описывает его преимущество как ускорение kill chain, цепочки от обнаружения цели до решения о воздействии. Этот инцидент показывает цену такой логики: если проверка не ускоряется вместе с генерацией, система быстрее доставляет наверх не только разведданные, но и ошибки.
Исследователь GovAI и ветеран армии США Джейк Стеклер сказал TechCrunch, что решения о применении силы требуют особого понимания неопределённости LLM. При этом он не предлагает отказаться от технологии: инструменты могут быть полезны при подходящих сценариях и защитных механизмах. Приоритет скорости внедрения, по его оценке, скорее подорвёт доверие военных и в итоге замедлит применение AI.
Для бизнеса вывод тот же, хотя цена ошибки обычно ниже: генерация гипотезы и утверждение факта должны быть разными операциями. Первичные источники нужно сохранять рядом с выводом, машинный текст маркировать, а критические решения отправлять на независимую проверку. Самый рискованный сценарий возникает, когда одна LLM сначала делает неподтверждённый вывод, а затем превращает его в документ, который запускает действие. Чем короче путь от ответа агента до платежа, блокировки или команды системе, тем жёстче должен быть барьер между текстом и исполнением.