В материале Tproger разбирают пять способов атаки на RAG-бота, из‑за которых ИИ‑помощник может непреднамеренно раскрывать данные. Речь о ситуациях, когда обычное взаимодействие с моделью неожиданно превращается в канал утечки информации.
Среди описанных приемов, prompt injection, утечка данных и инъекция через документы. С их помощью на систему воздействуют так, что она начинает извлекать или раскрывать сведения, которые пользователю изначально не должны быть доступны.
Отдельно авторы говорят о том, как такие системы можно защищать на уровне архитектуры. В качестве примера приводится опыт команды безопасности Альфа-Банка: они анализируют подобные риски и ищут способы предотвращать их при работе с RAG-ботами.
Ключевые факты
В материале описаны пять способов атаки на RAG-бота, которые могут превратить ИИ‑помощника в канал утечки данных.
Среди упомянутых методов атак: prompt injection, утечка данных и инъекция через документы.
Рассматриваются архитектурные подходы к защите от таких атак.
Разбор основан на опыте команды безопасности Альфа-Банка.