ReMMD: фреймворк для проверки мультимодальной дезинформации с несколькими изображениями и языками

Исследователи представили ReMMD, фреймворк агентной проверки, предназначенный для выявления мультимодальной дезинформации в более реалистичных условиях распространения контента. В таких публикациях обычно сочетаются длинные тексты на разных языках, несколько изображений, доказательства из разных источников и едва заметные несоответствия между текстом и картинкой. Авторы отмечают, что существующие бенчмарки и методы плохо отражают эту сложность: чаще всего они ограничиваются короткими подписями, одним изображением, бинарными метками или одним типом манипуляции.

Как сообщает arXiv cs.AI (Artificial Intelligence), система состоит из двух основных компонентов. Первый называется ReMMDBench. Это бенчмарк мультимодальной дезинформации, собранный из реальных примеров: 500 образцов и 2,756 изображений. В набор включены пять monolingual languages и два cross-lingual settings. Также выделены три text-length tiers, есть публикации с несколькими изображениями, пять уровней veracity labels и восемь distortion labels. Дополнительно указывается происхождение доказательств и приводятся рациональные объяснения.

Второй компонент, ReMMD-Agent, работает как верификатор с persistent-memory. Система разбивает посты на атомарные утверждения, затем формирует переиспользуемый набор доказательств и выдает структурированные L1/L2/L3 outputs. В сравнительных экспериментах, где участвовали proprietary systems, open LVLMs, MMD-Agent и T2-Agent, предложенный агент показал лучший результат в пяти-классовой проверке достоверности.