Уязвимость в M365 Copilot позволяла извлекать из писем 2FA‑коды
Microsoft закрыла уязвимость в платформе M365 Copilot, которую сама компания оценила как максимально критическую. Патч выпустили во вторник на прошлой неделе. А уже в понедельник исследователи, обнаружившие проблему и уведомившие Microsoft, опубликовали детали proof‑of‑concept‑эксплойта. Он позволял извлекать 2FA‑коды и другие чувствительные данные из писем, к которым Copilot имеет доступ.
Исследователи объясняют, что такие атаки возможны из‑за фундаментальной особенности LLM‑систем. Модели не умеют надежно различать инструкции пользователя и команды, спрятанные во внешнем контенте, например в материалах, которые модель суммирует, использует при подготовке ответа или обрабатывает от имени пользователя. Поскольку эти источники трудно строго разделить, поставщикам LLM, включая Microsoft, приходится вводить сложные и разрозненные ограничения безопасности.
Одна из таких защит в Copilot и большинстве других LLM запрещает моделям отправлять веб‑формы, письма и выполнять похожие действия, через которые можно вывести пользовательские данные. Атакующие обходят это ограничение с помощью markup language, где можно добавлять элементы форматирования (заголовки, списки, ссылки) без HTML‑тегов. Есть и другой прием: чувствительные данные помещают внутрь HTML‑тегов вроде <img> и <form>. В обоих случаях формируется веб‑запрос, он уходит на сервер атакующего, где секретные данные затем оказываются в логах.
Ключевые факты
Microsoft во вторник выпустила исправление для уязвимости, которую компания оценила как максимально критическую, в платформе M365 Copilot.
В понедельник исследователи, обнаружившие проблему, раскрыли proof‑of‑concept эксплойт, который позволял извлекать 2FA‑коды и другие чувствительные данные из писем, доступных Copilot.
Причина уязвимости в том, что ИИ‑боты не различают инструкции пользователя и инструкции, скрытые во внешнем контенте, который модель суммирует или использует для генерации ответа.
Защитный механизм Copilot, запрещающий отправку веб‑форм и писем, обходился с помощью разметки или HTML‑тегов вроде <img> и <form>, что приводило к отправке веб‑запроса на сервер атакующего и фиксации данных в логах.