使用频率掩码的新一代深度防伪检测技术

假货检测 29/07/2024

三个要点
✔️ 考虑使用频率掩蔽的数据扩增
✔️ 有助于全面提高深度防伪检测的泛化性能
✔️ 经实验验证的所有模型的有效性得到证明

Frequency Masking for Universal Deepfake Detection
written by Chandler Timm Doloriel, Ngai-Man Cheung
(Submitted on 17 Jan 2024)
Comments: Accepted to IEEE ICASSP-2024
Subjects: Computer Vision and Pattern Recognition (cs.CV)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

概述

本研究讨论了在深度伪造图像检测中使用频率掩码进行数据增强的有效性。特别是考虑了图像真实空间和频率空间中的掩蔽，并展示了其在提高伪造检测技术泛化性能方面的有效性。

背景

假图像检测是一个社会问题

近年来，随着基于扩散模型等技术的人工智能技术的显著发展，生成连人类都难以识别的虚假图像已经成为可能。同时，这也是一个动摇现代社会信息可靠性的社会问题。例如，这有可能导致名人捏造政治和社会言论。因此，有必要建立一种通用方法来检测图像是人工智能生成的还是真实的。

通用假图像检测的困难

近年来，基于人工智能的图像生成技术层出不穷。生成模型的多样性使得建立 "通用 "虚假图像检测技术变得十分困难。许多研究表明，人工智能可用于检测人工智能生成的虚假图像，但其泛化性能有限。本研究提出了频率掩蔽技术来提高假图检测技术的泛化性能，并通过实验证明了其有效性。它的泛化能力令人惊讶，在采用任何一种模型时都可以考虑将其付诸实施，并可能成为下一代深度打假技术的基础。

方法

图 1 给出了本研究中提出的掩码概述。下文将分别介绍在图像的实空间和频率空间中进行的屏蔽。

图 1. 拟议的屏蔽示意图。(a) 实际空间中的屏蔽。(b) 频率空间中的屏蔽。

真实空间中的屏蔽

论文中提到了两种真实空间中的屏蔽方法：(i) 补丁屏蔽和 (ii) 像素屏蔽。前者是以像素为掩蔽目标的正方形区域，而后者是以单个像素为掩蔽目标的方法。图 1 的（a）所示为真实空间中的屏蔽示例。这样，图像中的每个遮挡区域都会应用随机遮挡过程（黑色填充）。这一想法为下面的频域屏蔽奠定了基础。

频率空间屏蔽

参照上述实空间的掩蔽，作者引入了频域的掩蔽过程。作者为快速傅里叶变换图像的四个目标区域设置了掩蔽区域，即(i) 低频区域（Low）、(ii) 中频区域（Mid）、(iii) 高频区域（High）和 (iv) 全部区域（All）。对于每个目标区域，屏蔽过程都是通过以特定速率将某些频率的强度随机设置为零来实现的。低频区域对应图像中相对较大的结构，中频区域对应图像纹理和更细致的特征，高频区域对应图像中的噪声和边缘。虽然高频区域的特征可能并不那么重要，但作者指出，高频成分可能是检测的关键，因为生成模型创建的图像可能包含小的伪影（数据失真）。

实验结果

数据集

在这项研究中，我们使用了由使用 ProGAN 创建的虚假图像组成的数据集进行训练。此外，还测试了用各种模型（ProGAN、CycleGAN、BigGAN、StyleGAN、GauGAN、StarGAN、SITD、SAN、CRN、IMLE、Guided Diffusion、Latent Diffusion、DALL-E 等）创建的虚假图像训练的模型。对图像训练的模型进行了验证。

不同掩蔽处理方法的比较

图 2 显示了各种屏蔽过程的比较概况。有趣的是，对像素屏蔽和补丁屏蔽的比较表明，补丁屏蔽更胜一筹。这也表明，频率空间屏蔽比真实空间屏蔽效果更好。

作者还讨论了遮蔽区域的比例对检测精度的影响。表 1 总结了不同掩蔽处理比例下的假货检测准确率。在对几个百分比进行比较后发现，当遮蔽处理的百分比为 15%时，准确率最高。因此，作者将其设定为屏蔽处理的标准百分比。

根据掩蔽过程覆盖的频率范围进行比较

此外，作者还研究了假信号检测的准确性如何受到应用掩蔽处理的频率区域的影响。表 2 总结了与应用掩蔽过程的频域有关的准确度比较。这些结果非常有趣，因为它们表明，用于创建假图像的生成模型所描述的频段存在差异。同时，这些结果还表明，假图像检测的泛化性能很难提高。

应用最先进技术时的性能

最后，作为这项研究的高潮，作者讨论了将最新技术（SOTA）与作者提出的频率掩蔽相结合的效果。表 3 总结了每个验证数据集的验证结果。表 3 右侧还显示了它们的平均准确率。重要的是，我们可以看到，应用作者的频率掩蔽（如表中红色所示）后，SOTA 的准确率得到了稳健的提高。这一结果表明，作者提出的频率掩蔽是一种数据增强技术，可以普遍提高假冒检测的准确性。换句话说，频率掩蔽可以让模型正确选择假图像检测中重要的特征，而不会被图像的表面特征所牵引。

摘要

受最近通过掩蔽过程提高模型准确性的启发，作者讨论了频率掩蔽在假图像检测中的有效性。结果表明，对于各种生成模型创建的伪造图像，频率掩蔽一般都能提高伪造检测模型的准确性。而且，无论采用哪种模型，它都能稳健地工作。结果表明，频率掩蔽可以作为通用假图检测工具的通用数据增强工具，预计将来会被部署到各种模型中。