BSI и Fraunhofer представили метод обнаружения Deepfake с объяснением подозрительных фрагментов

Fraunhofer IOSB совместно с Федеральным ведомством по информационной безопасности Германии (BSI) разработали систему RealOrRender для выявления Deepfake-изображений. Как сообщает Heise online, метод основан на реконструкции изображения с помощью ИИ и последующем анализе различий между оригиналом и восстановленной версией.

Система использует предварительно обученную diffusion-модель, которая фактически заново «перерисовывает» исходную картинку. В процессе создаются noise map, то есть математический отпечаток изображения, а также его реконструированная версия. После этого отдельная модель анализирует ошибки реконструкции. По словам Андреаса Шпекера из исследовательской группы видеосистем безопасности и ассистивных систем IOSB, у Deepfake-изображений математический отпечаток оказывается ближе к реконструкции, чем у настоящих фотографий. В реальных снимках при этом сохраняется больше естественного шума и неточностей.

Для обучения системы использовали датасет примерно из 120 тыс. изображений, созданных 18 генераторами изображений. По данным исследователей IOSB, точность распознавания составляет от 85% до 91%. Кроме классификации, RealOrRender строит heatmap с отмеченными областями, которые система считает признаками подделки. Среди них могут быть лицо, волосы, руки и объекты на фоне. В BSI система уже используется в формате демонстратора.