SynFace，它使用生成的人脸图像建立一个人脸识别模型。

人脸识别 02/12/2022

三个要点
✔️ 通过在生成的人脸图像上建立人脸识别模型，克服了传统大数据集的标签噪声和隐私等问题
✔️ 在真实和生成的人脸图像上训练人脸识别模型时，身份混合和领域的差距。介绍：
✔️ 分析样本/ID的数量和ID的数量对生成的人脸图像数据集的影响，ID的数量更为重要。

SynFace: Face Recognition with Synthetic Data
written by Haibo Qiu, Baosheng Yu, Dihong Gong, Zhifeng Li, Wei Liu, Dacheng Tao
(Submitted on 18 Aug 2021 (v1), last revised 3 Dec 2021 (this version, v2))
Comments:Accepted by ICCV 2021
Subjects: Computer Vision and Pattern Recognition (cs.CV)

code：

本文所使用的图片来自于论文，来自于介绍性的幻灯片，或者是在参考了这些图片后制作的。

摘要

近年来，大规模的人脸识别数据集已经发布，为提高人脸识别和人脸识别的准确性做出了巨大贡献。然而，传统的数据集很难收集人脸图像，而且已经发现了诸如 "标签噪音 "和 "隐私 "等问题。

标签噪音是指人脸图像被错误地标记的数据。传统的数据集主要是从互联网上上传的名人面部图像中收集的。它自动收集出现在某个名人名字的搜索结果中的脸部图像。因此，错误的数据可能会被混入，比如包含了不同人的脸部图像，这对人脸识别模型的准确性产生了负面影响。此外，网络上的人脸图像从未作为人脸识别模型的训练数据公布。在未经本人同意和不知情的情况下，其脸部图像被收集的人将被用于预定用途以外的目的。想到你的脸部图像正在成为某些人脸识别系统的训练数据，这不是一种愉快的感觉。自然，这受到了脸部图像未经其同意被使用的人的强烈批评。

本文提出了一种名为SynFace的方法，它通过使用生成的人脸图像而不是从互联网上收集的图像来解决这些问题。

SynFace还研究了在真实人脸图像上训练的人脸识别模型与在生成的人脸图像上训练的模型之间的领域差距。它还研究了 "每个ID的样本数 "和训练数据中的"ID数 "对人脸识别模型的准确性的影响。本文对在生成的人脸图像上训练的人脸识别模型进行了全面评估。

什么是SynFace？

SynFace使用两种主要技术：一种是DiscoFaceGAN。这种技术将随机噪声映射到五个独立的潜伏元素（ID、面部表情、光照、面部方向和背景），如下图所示，并能在控制这些元素的同时生成人脸图像。

(摘自《通过三维仿生对比学习生成可控制的人脸图像》）。

另一种是Mixup，这是一种数据扩展技术，将两个样本混合起来生成一个新的样本：x由_xi和_xj数据生成，y标签由相应的_yi和_yj标签生成。

SynFace的总体情况如下图所示。首先，在一个名为 "混合脸部生成器 "的部分生成一个脸部图像。这就是 "身份混杂 "的引入，混杂从两个身份中生成一个新的身份面孔图像。如下所述，这是为获得相同ID的多样性而引入的。接下来，引入了一个 "域名混合"。这里，生成的人脸图像与真实的人脸图像混合，以减少真实和生成的人脸图像之间的数据分布差异。上述过程弥合了生成的人脸图像和真实人脸图像之间的领域差距，因此，即使用生成的人脸图像进行训练，也能对真实人脸图像达到较高的识别精度。

真实和生成的人脸图像之间的领域差距。

本文提出了一种使用生成的人脸图像而不是真实的人脸图像的方法，以克服正确标签中的噪音和隐私问题。为了验证其有用性，有必要检查与使用真实的人脸图像相比，在性能上是否有任何差异。正如上面简要提到的，结果表明，用生成的人脸图像进行训练和用真实的人脸图像进行训练之间仍然存在领域差距。

在此，我们构建了一个在真实人脸图像上训练的人脸识别模型 "RealFace "和一个在生成的人脸图像上训练的人脸识别模型 "SynFace"，并对它们的性能进行了比较；RealFace在大型数据集 "CASIA-WebFace "上训练，并在 "LFW（标签化）"上测试。野生人脸），而SynFace是在生成的人脸图像'Syn_10k_50'上进行训练，并在'Syn_LFW'上进行测试，后者由生成的人脸图像组成，具有与LFW相同的统计数据。对于这两个模型，比较了验证的准确性（Accuracy），即比较两个人脸图像以确定它们是否是同一个人。

结果如下表所示：SynFace模型对生成的人脸图像的Syn-LFW数据集显示出99.85%的高准确率，但对真实人脸图像的LFW数据集显示出88.98%的低准确性。这意味着，如果将SynFace原封不动地应用于真实的人脸图像，准确度会降低。相反，RealFace对LWF也显示出99.18%的高准确率，但对Syn-LFW的准确率却很低。换句话说，发生了领域差距（即由于训练和测试数据之间的数据分布不同而产生的性能差异）。

顺便提一下，Syn_LFW使用了一个重建三维面孔的模型，从LFW图像中获得代表面部表情、照明和面部方向的潜伏元素，并将它们应用于DiscoFaceGAN，以生成一个与LFW相同数据结构的数据集。Syn_10k_50也是根据CASIA-WebFace采样10,000(=10K)和50张脸部图像/人(=50)，从这里开始用于比较。换句话说，Syn_N_S其中N是ID的数量，S是每个ID的样本数量。

是什么导致了领域差距？

上述RealFace和SynFace之间的领域差距是由生成的人脸图像中同一人的类内差异（Intra-class variation）较低造成的。下面的数字显示了来自CASIA-WebFace（左）和Syn_10K_50（右）的数据，其中每一行都是同一个人的面部图像。一眼就能看出来，但仔细一看就会发现，CASIA-WebFace有更多类型的面部模糊、照明和面部方向。事实上，SynFace的性能再次针对Syn_10K_50进行了评估，并对数据进行了扩展，以增加模糊和光照的种类，结果显示，与LFW相比，SynFace的准确性从88.98%提高到91.23%。

面部特征向量的方差也可以用MDS可视化（见下文）：比较Real（绿色，实际的面部图像）和Syn（生成的面部图像），可以看出Syn的方差更大，同一人的面部图像的多样性（类内距离）更低。

向DiscoFaceGAN介绍Mixup。

研究发现，与真实的人脸图像相比，SynFace中同一个人的人脸图像的多样性（类内距离）很低，导致识别精度很差。为了提高同一个人的人脸图像的多样性（类内距离），本文引入了两个混合器，如上所述：一个是"身份混合器"（下图红框）；另一个是 "距离混合器"（下图红框）。

在身份混合中，同一个人的脸部图像的多样性通过插值两个不同的身份信息来扩大，以生成一个具有新身份的脸部图像：在DisocoFaceGAN中，对应于身份信息的潜在元素α是φ从0.0到1.0的范围内以0.05的间隔随机应用。

另一种是 "领域混合"（下图中的红框）。这里，生成的人脸图像与真实的人脸图像混合，以减少与真实人脸图像的性能差异。

复合人脸图像_Xs和真实人脸图像_XR及其标签的插值方法如下。在这里，ψ也是从0.0到1.0的范围内以0.05的间隔随机应用。

通过引入Mixup，改善领域差距。

下表显示了引入身份混淆（IM）的效果。方法 "代表训练数据，"LFW "代表用LFW测试时的准确性，"LFW（w/IM）"代表用LFW测试时引入身份混淆的准确性。注意该方法的名称是"（ID数量）_（图像数量/ID）"的格式。结果显示，在所有条件下，引入身份混杂都能提高准确性。

该表还显示了对不同配置的ID数量（宽度）和图像/ID数量（深度）的影响的研究结果。比较表(a)、(b)、(c)和(i)，可以看到身份证数量（宽度）的影响，从(a)到(c)，准确率从83.85%提高到88.75%。然而，从(c)到(i)，改进是微不足道的。这被认为是由于同一人的面部图像缺乏类内差异，如上所述。接下来，比较(d)和(i)，我们看到图像数量/ID(深度)的影响，这也表明随着图像数量/ID(深度)的增加，准确度有了明显的提高。最后，比较（a）和（e），在图像总数相同的情况下，（e）显示出更高的准确性，可以说数据集中的图像/ID（深度）的数量比图像/ID（深度）的数量起到更重要的作用。（在(b)和(f)的比较中得到类似的结果。

下表显示了以Syn_10K_50为基线，实施域混合的效果。对于其他方法，Real_(ID数量)_(图像数量/ID)是在(ID数量)和(图像数量/ID)条件下用真实人脸图像构建的数据集，Mix_(ID数量)_(图像数量/ID)是在Syn_10K_50中用真实人脸图像构建的数据集。该数据集表示在Syn_10K_50的Mixup_(ID数量)_(图像数量/ID)条件下构建的数据集。

从表中可以看出，Domain Mixup在所有情况下都是有效的：不仅比Syn_10K_50更准确，而且比只用真实人脸图像训练更准确。

摘要

在本文中，我们使用生成的人脸图像建立了一个新的大规模的人脸识别数据集，并测试了其有用性。

比较首先在真实人脸图像上训练的人脸识别模型和在生成的人脸图像上训练的人脸识别模型的性能显示，出现了很大的领域差距。然后表明，在生成的人脸图像的数据集中，人脸图像的多样性较少。

本文介绍了两种混合方式，即身份混合方式和领域混合方式，以解决上述问题。这增加了人脸图像的多样性，减少了领域差距。还研究了数据集中ID的数量（宽度）和图像/ID的数量（深度）对性能的影响。结果显示，增加身份证的数量（宽度）更为重要。此外，关于Domain Mixup的实验表明，即使将一些真实的人脸图像与生成的人脸图像混合起来，也能提高人脸识别的准确性。