DeepPrivacy2，它照顾到了隐私并对图像中的人进行匿名处理
三个要点
✔️ 与DeepPrivacy相比，面部匿名化的准确性更高
✔️ 不仅介绍了DeepPrivacy面部匿名化，还介绍了全身匿名化
✔️ 介绍了FDH，一个对全身匿名化有用的新大型数据集
DeepPrivacy2: Towards Realistic Full-Body Anonymization
written by Håkon Hukkelås, Frank Lindseth
(Submitted on 17 Nov 2022)
Comments: Accepted at WACV2023
Subjects: Computer Vision and Pattern Recognition (cs.CV)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
摘要
收集和储存图像有多种用途。然而，必须考虑到图像可能包含对隐私敏感的主题这一事实。最近，世界上许多国家的隐私立法，如欧盟的GDPR，已经使匿名化或未经同意收集数据变得更加困难。这一趋势正在逐年增加。
目前，模糊处理和其他方法被广泛用于匿名化图像。然而，这种方法严重扭曲了数据，随后使其在应用中无法使用。近年来，越来越多的匿名化方法利用快速发展的生成模型来生成有背景的、真实的面孔。然而，仅靠脸部匿名化并不能防止通过非脸部标识符（如耳朵、走路方式或性别）来识别个人的情况。为了克服这个问题，也在进行全身匿名化的研究。
在本文中，作者提出了DeepPrivacy2，它提高了脸部匿名化的性能，并在DeepPrivacy中增加了全身匿名化，这也是同一作者之前报道的。
特别是，新增加的全身匿名化引入了一个名为Flickr Diverse Humans（FDH）的大型数据集。这包含了150万张不同背景下的人物图像，从YFCC100M数据集中提取，这也为本文中生成的人物的视觉质量做出了重要贡献。
此外，还提出了一个用于人员检测和匿名化的集合框架。人员的检测和匿名化分为三类：（1）用CSE（密集姿势估计）检测的人员，（2）不用CSE检测的人员和（3）用面部身体检测的其他人员。这使得图像中的人的详细匿名化得以实现，并尽量减少遗漏。
虽然以前有一些全身匿名化的方法，如表面引导的GANs（SG-GANs），但DeepPrivacy2通过使用大型数据集和引入基于集合的检测和合成（匿名化）的网络，在图像质量和匿名化保证方面都表现出更高的性能。它在图像质量和匿名化保证方面都显示出更高的性能。
FDH(Flicker Diverse Humans)数据集。
FDH（Flickr Diverse Humans）数据集由大约155万张取自YFCC100M（Yahoo Flickr Creative Commons 100 Million）数据集的人物图片组成。下图显示了一个样本数据集。
每张图像包含一个人，像素级的高密度姿势估计由连续表面嵌入（CSE）获得，17个关键点由Mask R-CNN和分割掩码信息获得。分割掩码使用了从CSE获得的掩码和Mask R-CNN获得的掩码的共同部分。每张图片的分辨率为288 x 160，分为1,524,845张图片用于训练，30,000张图片用于验证。
与以前用于合成（匿名）整个身体的数据集（如DeepFashion）相比，FDH包括一个更大和更多样化的野外图像集。与生成模型的典型数据集相比， 它的选择性也较少，包含许多具有不寻常姿势、视角、照明条件和背景的人物图像。
DeepPrivacy2的匿名化过程。
本节介绍DeepPrivacy2过程，它使用三个检测和合成网络的组合来检测和匿名化图像中的人物（见下文）。
首先，检测确保图像中的所有人员都被检测出来。这就是上图所示的检测过程。(1)使用高密度姿态估计检测人员（有CSE） (2) 使用Mask R-CNN的实例分割进行检测（没有CSE） (3)通过DSFD检测其余人员的面孔。在上图中间的图像中，使用(1)检测有彩色脸部的人，使用(2)检测没有彩色脸部的人，使用(3)检测脸部有红框的人。
对于人的检测，(1)使用密集姿势估计的人的检测（有CSE）和(2)使用Mask R-CNN的实例分割的检测（没有CSE）的总和集是匿名的，并且被设计为使饰品和头发也是匿名的。这改善了表面引导的GANs（SG-GANs）的问题，以前也提出过全身匿名化，其中饰品和头发没有被匿名，降低了图像的质量。从下图中可以看出，头发和耳朵在中心图像中似乎是不自然地连接在一起的。从隐私的角度来看，高密度姿态估计（CES）不是强制性的，但可以看出，它大大改善了合成图像的质量。
与传统的SG-GANs相比，DeepPrivacy2也明显改善了检测遗漏，因为即使在CSE检测失败的情况下也会使用Mask R-CNN和DSFD。
然后将三个独立的训练生成器应用于每个检测结果。有一个全身匿名生成器和一个面部匿名生成器，以及两个 全身匿名生成器，一个适用于使用CSE检测的人，一个适用于 没有CSE检测的人。这些是 "CSE引导的全身生成器"、"无条件的全身生成器 "和 "脸部 生成器"过程，如上 所示。
与传统的人脸匿名化生成器相比，拟议的生成器不使用关键点进行合成（匿名化）。这提高了在关键点难以检测的情况下检测的可重复性。请注意，该数据集是FDF数据集的一个更新版本。
最后，合并（匿名）的图像被缝合到原始图像上。这就是上文所示的 "图像缝合 "过程。特别是，全身匿名化，与脸部匿名化不同，涉及大量的检测重叠。因此，如果不正确处理，这些重叠会在人与人之间的边界产生视觉上不自然的伪影。
在本文中，根据人物所覆盖的像素数，每个人物都是用升序法递归缝合的。递归拼接假定合成方法在生成每个人的时候会处理由于重叠而产生的伪影。该排序还假设前景物体覆盖的面积较大，前景物体最后被缝合。在反向排序中（前景物体在先），背景物体 "覆盖 "了前景物体，因为有可能出现重叠的检测。这种简单的排序大大减少了人与人之间边界的视觉假象。
下图比较了本文中的匿名图像拼接方法与Decending排序和Ascending排序的结果，其中前景物体最后被拼接，检测边界的图像质量（红色标记）得到了改善。而检测边界（例如红色标记的地方）的图像质量得到了改善 。
实验
DeepPrivacy2的合成质量得到了确认。然而，由于没有比较数据匿名化的标准基线，对于面部匿名化，我们将其与广泛采用的面部匿名化技术DeepPrivacy进行比较，对于全身匿名化，我们将其与表面引导的GANs（SG-GANs）进行比较。训练数据是用于全身匿名化生成器的FDH数据集和用于面部匿名化生成器的FDF256；FDF256数据集是FDF的更新版本。Market1501、Cityscapes和COCO也被用于评估数据。
下面的数字显示了整个身体匿名化发生器在FDH中的合成（匿名化）结果。(a)显示了原始图像和对它的检测结果。(b)是使用不含CSE的无条件全身生成器进行合成（匿名化）的结果。(c)到(e)是使用"CSE指导下的全身生成器 "进行合成（匿名化）的结果，它使用CSE。
可以看出，DeepPrivacy2对不同的背景环境、姿势和重叠部分生成了高质量的数字。它还表明，CSE对于高质量的匿名化是必要的；不使用CSE的无条件全身生成器，其胳膊和腿略显不自然。
下图显示了脸部匿名化生成器对FDF256进行合成（匿名化）的结果。第一行显示了原始图像和它的人脸检测结果；第二至第五行是用DeepPrivacy2合成的（匿名）人脸�
这里，DeepPrivacy2人脸匿名化生成器的性能与DeepPrivacy进行了比较。然而，DeepPrivacy2使用更新的FDF，FDF256，图像分辨率为256 x 256。另一方面，DeepPrivacy使用FDF，而且图像分辨率较低，为128 x 128，因此无法进行直接比较。因此，在这个验证中，图像在FDF（128 x 128）中被重新训练，然后进行比较。结果证实，DeepPrivacy2实现了FID=0.56，与DeepPrivacy的FID=0.68相比，有了明显的改善。请注意，FID（FrechetInceptionDistance）是衡量图像重现性的一个标准，数值越小越好。
下图比较了DeepPrivacy(b)和DeepPrivacy2(c)人脸匿名生成器的结果，显示DeepPrivacy2(c)生成的人脸质量比DeepPrivacy(b)高，而且能更好地处理检测对象之间的重叠。结果显示，DeepPrivacy2(c)比DeepPrivacy(b)产生的人脸质量更高。
此外，DeepPrivacy使用关键点，如果有的人的关键点无法被检测到，人脸就不会被匿名。因此，一些人可能在匿名化过程中被省略。另一方面，如上所述，DeepPrivacy2不使用关键点进行合成，这意味着即使不能检测到关键点，也会进行匿名化。
摘要
DeepPrivacy2是一个实用的工具，可以在不降低图像质量的情况下对人脸和整个身体进行匿名处理。与传统的匿名化方法相比，图像质量和匿名化保证得到了明显的改善。它还介绍了FDH，这是一个包含各种姿势和背景的大型数据集，对全身匿名化非常有用。
近年来，许多国家和地区都出台了隐私立法，使数据的收集和存储变得复杂。这可能是开发依赖高质量图像的应用的一个障碍，如计算机视觉模型。在这种情况下，DeepPraivacy2可以成为一个非常有用的工具来解决这些问题。
然而，另一方面，由于DeepPraivacy2是一项合成真人的技术，它可能会像DeepFake和其他技术一样被滥用。因此，可能有必要通过DeepFake Detection Challenge同时开发假货检测的技术，该挑战正在被世界各地的社区挑战。请注意，DeepPrivacy2代码、训练好的模型和FDH数据集可在https://github.com/hukkelas/deep_privacy2。
与本文相关的类别
