PHANTOM: крупный открытый датасет атак для тестирования vision-language моделей
Исследователи представили PHANTOM, крупномасштабный открытый датасет заранее сгенерированных adversarial атак для vision-language моделей (VLMs). Он задуман как разнообразный и практичный ресурс, который расширяет существующие бенчмарки: в нем охвачены 10 высокоуровневых категорий и 55 подкатегорий вредоносных намерений. Главная задача проекта, упростить доступ исследовательского сообщества к таким данным. Генерация большого числа атак обычно требует значительных вычислительных ресурсов и сложных процедур, поэтому готовый корпус примеров должен снизить этот барьер.
В датасете 47 524 adversarial примера, созданных с применением современных стратегий атак, описанных в недавних научных работах. Авторы также собрали и расширили предыдущие бенчмарки из нескольких устоявшихся источников. В результате получился набор из 7 826 intents. Кроме того, была добавлена дополнительная категория, чтобы шире охватить возможные сценарии.
Как сообщает arXiv cs.AI (Artificial Intelligence), PHANTOM предназначен для более реалистичной оценки устойчивости и выравнивания VLMs. Датасет можно использовать для систематического тестирования надежности и безопасности моделей, дообучения систем генерации атак, а также для разработки и стресс тестирования защитных guardrails в различных adversarial условиях.
Ключевые факты
В работе представлен открытый датасет PHANTOM с 47 524 заранее сгенерированными adversarial-примерами для vision-language моделей.
Набор данных охватывает 10 высокоуровневых категорий и 55 подкатегорий вредоносных намерений.
Датасет объединяет и расширяет существующие бенчмарки из нескольких источников, в сумме включая 7 826 намерений.
Атаки в датасете сгенерированы с использованием state-of-the-art стратегий из недавних научных работ.