Использование large language models в реальных продуктах резко ускорилось после запуска ChatGPT. По словам Lilian Weng, команды, в том числе её команда в OpenAI, вложили много усилий в то, чтобы модели по умолчанию вели себя безопасно. Это делается в процессе alignment, например с применением RLHF.
Тем не менее adversarial attacks и jailbreak prompts всё ещё способны заставить модель выдать нежелательный ответ. В исследованиях adversarial attacks накоплен большой объём базовой работы, но значительная часть этих исследований касается изображений. Там атаки происходят в непрерывном высокоразмерном пространстве.
С текстом всё сложнее. Данные дискретные, прямых gradient signals нет, поэтому атаки считаются более трудными. В этом контексте Weng связывает тему со своим предыдущим материалом Controllable Text Generation: по сути, атака на LLMs, это попытка управлять моделью так, чтобы она сгенерировала определённый тип (unsafe) контента.
Ключевые факты
Запуск ChatGPT резко ускорил использование large language models в реальных сценариях.
Команда OpenAI вложила значительные усилия в формирование безопасного поведения модели на этапе alignment, включая использование RLHF.
Adversarial attacks и jailbreak‑промпты могут потенциально заставить модель выдавать нежелательные ответы.
Большая часть исследований adversarial attacks сосредоточена на изображениях в непрерывном высокоразмерном пространстве, тогда как атаки на дискретные данные вроде текста считаются более сложными из‑за отсутствия прямых градиентных сигналов.