Пять способов атак на RAG-ботов: как ИИ‑помощник может стать каналом утечки

В материале Tproger разбирают пять способов атаки на RAG-бота, из‑за которых ИИ‑помощник может непреднамеренно раскрывать данные. Речь о ситуациях, когда обычное взаимодействие с моделью неожиданно превращается в канал утечки информации.

Среди описанных приемов, prompt injection, утечка данных и инъекция через документы. С их помощью на систему воздействуют так, что она начинает извлекать или раскрывать сведения, которые пользователю изначально не должны быть доступны.

Отдельно авторы говорят о том, как такие системы можно защищать на уровне архитектуры. В качестве примера приводится опыт команды безопасности Альфа-Банка: они анализируют подобные риски и ищут способы предотвращать их при работе с RAG-ботами.