К содержанию
hegai.media
Новости

Скрытый текст на веб-странице может отравить долгосрочную память AI-агента

Инфографика: вредоносная веб-страница — ложные сведения выдаются за достоверные
Графика: hegai.media

Как сообщает ITPro, специалисты Forcepoint описали технику отравления памяти. Вредоносная веб-страница или документ внедряет ложные сведения в постоянную память AI-агента. В результате поддельный поставщик, контакт службы поддержки или правило безопасности могут выдаваться за достоверную информацию даже спустя несколько месяцев.

Обычная инъекция промпта действует только в рамках одного сеанса. Отравление памяти затрагивает данные, которые сохраняются между сессиями, включая пользовательские предпочтения, историю задач и рабочий контекст. Скрытые инструкции могут размещаться на скомпрометированных страницах, в общих документах, обращениях в поддержку, подписях электронных писем, сообщениях Slack или Teams, PDF-файлах и статьях базы знаний. Старший исследователь безопасности Forcepoint Сайед Хасан Файзан пояснил, что пользователь может вообще не заметить вредоносную инструкцию: агент считывает ее во время обработки обычного контента.

В демонстрации Forcepoint исследователи отравили память туристического помощника, который получал содержимое страниц через отдельный браузерный инструмент. Программа извлекла из HTML видимый и скрытый текст. Затем агент сохранил поддельные сведения как доверенный факт, а позднее рекомендовал поставщика, добавленного злоумышленником.

Для защиты Forcepoint предлагает проверять данные перед сохранением в доверенной долгосрочной памяти. Каждому объекту следует присваивать оценку риска. Подозрительные сведения можно отклонять, изолировать, отправлять пользователю на подтверждение или помечать как недоверенные.

Ключевые факты

  • Ложные сведения могут выводиться агентом как достоверные через несколько месяцев после внедрения.

  • Источниками скрытых инструкций могут быть общие документы, обращения в поддержку, подписи электронных писем, сообщения Slack или Teams, PDF-файлы и статьи базы знаний.

  • В демонстрации Forcepoint туристический помощник сохранил поддельные сведения и позднее рекомендовал поставщика, добавленного злоумышленником.

  • Forcepoint предлагает отклонять, изолировать, отправлять на подтверждение или помечать как недоверенные объекты памяти с высоким риском.

Вопросы и ответы

Чем отравление памяти отличается от обычной инъекции промпта?

Обычная инъекция действует только в текущем сеансе, а отравление меняет долгосрочную память между сессиями: предпочтения, историю задач и рабочий контекст. Ложные данные могут восприниматься как достоверные даже через несколько месяцев.

Какие корпоративные каналы нужно считать потенциальным источником атаки?

Под угрозой общие документы, обращения в поддержку, подписи электронных писем, сообщения Slack и Teams, PDF-файлы, статьи базы знаний и веб-страницы со скрытым текстом.

Какие меры защиты можно внедрить на практике?

Forcepoint предлагает присваивать каждому объекту памяти оценку риска до сохранения. Данные с высоким риском следует отклонять, изолировать, отправлять пользователю на подтверждение или помечать как недоверенные.

Контекст по теме