Webface-OCC，咬合式人脸识别的新基准。
三个要点：
✔️提出一个公共数据集，用于闭塞感知的人脸识别。
✔️与之前相比引入更适合实际条件的咬合图谱法。
✔️ 重新训练。ArcFace在戴上面具后，识别准确率大幅提升，正常人脸识别准确率几乎没有损失。
When Face Recognition Meets Occlusion: A New Benchmark
written by Baojin Huang, Zhongyuan Wang, Guangcheng Wang, Kui Jiang, Kangli Zeng, Zhen Han, Xin Tian, Yuhong Yang
(Submitted on 4 Mar 2021)
Comments: Accepted to ICASSP 2021.
Subjects: Computer Vision and Pattern Recognition (cs.CV)
code：
勾勒
自2019年人脸识别元年以来，各地纷纷推出人脸识别技术。不过，从2020年起，人们将普遍佩戴口罩，以此来防止冠状病毒（COVID-19）在全球范围内的传播。
众所周知，现有的人脸识别模型的识别精度在遮挡条件下会明显下降，比如戴上面具时。其中一个主要原因是缺乏考虑到遮挡的数据集。
目前，还没有一个公开的数据集用于人脸识别，将遮挡因素考虑在内。虽然已经有一些关于遮挡感知的人脸识别模型的研究，包括面具和太阳镜，但都是构建了自己的数据集。
但是，他们都构建了自己的数据集，由于他们构建的数据集与实际情况有很大的不同，所以他们构建的数据集是不够的。
例如，(a)是2016年报道的MaskNet使用的数据集样本。在这个数据集中，我们使用了随机应用多种尺寸的黑盒子的图像。唯一的遮挡类型是黑盒，预计会降低模型的泛化性能。另外，考虑到实际条件，咬合是不自然的。
(b)是2019年报道的成对差分连体网络(PDSN)中三个使用的数据集的样本。这里，有三种咬合类型可供选择。与(a)相比，咬合类型的数量有所增加，但考虑到实际条件，咬合的位置和大小仍不自然。
(c) 是2020年报告的wID所使用的数据集样本。在这里，方形框是随机应用于人脸图像的。综合方法非常简单，仍不适应实际条件。
近年来备受关注的其他使用GANs的方法，可以产生视觉上更自然的遮挡图像，但但是，细节信息发生了变化，在这些图像上训练的人脸识别模型在实际条件下往往不能很好地发挥作用。
因此，虽然现有的一些遮挡感知数据集，但大部分与实际情况相差甚远。
在本文中，我们提供了一个新的公共闭塞感知数据集Webface-OCC，以改善这种情况。
(d) 是Webface-OCC的样本数据。它由10,575个主体和804,704张面部图像组成，包括各种咬合类型。
什么是"Webface-OCC"？
Webface-OCC是基于CASIA-Webface建立的，CASIA-Webface是常用的人脸识别数据集。CASIA-Webface包含了轻微遮挡的数据，在CASIA-Webface上训练的模型在小遮挡下的人脸识别中表现出很高的性能。
通过增强这种遮挡，Webface-OCC被重建为一个新的数据集，对于提高遮挡的人脸识别性能很有帮助。
下图是Webface-OCC的示例。我们没有像以前那样用方块随机遮挡人脸，而是用口罩和墨镜进行数据遮挡人脸，这在实际条件下是经常面对的。还包括不同的纹理、颜色和大小：第一行是正常的人脸图像，第二/第三行是闭合的人脸图像。
Webface-OCC首先提供了几种类型的(a)纹理/颜色和(b)面具/太阳镜，如下图所示。接下来，我们从未经遮挡的正常人脸图像中获取面部特征点。
最后，利用面部特征点，通过将口罩映射到覆盖口鼻区域的位置，将墨镜映射到覆盖眼睛区域的位置，同时调整角度和大小，生成带有遮挡的图像。
通过应用多种咬合类型的组合来增加数据大小。最终的数据集包含10,575个被试和804,704张人脸图像。
此外，数据集中包含了每个ID的正常和闭塞脸部图像，且比例相等（见下图）。
实验
他们在两种情况下评估Webface-OCC训练的模型。
一种是使用标签式面孔在野外（LFW）、名人正面-轮廓在野外（CFP-FP）和AgeDB-30，用于一般的人脸识别，以及。另一种情况是使用最近提出的掩蔽式人脸识别数据集LFW-mask、CFP-FP-mask、AgeDB-30-mask和RMFRD（Real-World Masked Face Dataset）。FW-mask、CFP-FP-FP-mask、AgeDB-30-mask是对LFW、CFP-FP、AgeDB-30的人脸图像进行伪应用的数据，数据大小等都一样。
LFW-mask、CFP-FP-mask和AgeDB-30-mask数据集是在原始数据集上添加掩码的结果，数据的大小和比例都没有改变。
这些模型是基于CenterFace、SphereFace、FaceNet、CosFace、ArcFace和MaskNet六种代表性的人脸识别模型。其中，FaceNet和ArcFace还通过在WiderFace数据集上重新训练的模型进行了验证。
结果如下表所示，不过由于人脸方向和年龄差异的影响，CFP-FP和AgeDB-30的准确率远低于LFW。在Webface-OCC上训练的模型的准确率仅比原始模型低1%左右，说明在一般的人脸识别数据集上整体表现较高。
此外，重新训练的模型（FaceNet和ArcFace）明显优于原始模型。例如，ArcFace在4个掩模人脸识别数据集（LFW-掩模、CFP-FP-掩模、AgeDB-30-掩模和RMFRD）上的准确率分别比原始模型高36.22%、29.14%、27.04%和15.03%。.
换句话说，重新训练的模型只成功地显著提高了对遮挡人脸识别数据集的性能，而保留了原来对一般人脸识别数据集的影响。同时，与模拟咬合人脸识别数据集（LFW-mask、CFP-FP-FP-mask和AgeDB-30-mask）相比，真实咬合人脸识别数据集（RMFRD）的识别精度较低。
这可能是由于在RMFRD中无法准确识别未知的咬合物，或者是由于被试者是公众人物，故意伪装，使其身份不暴露。
摘要
本文提出了一个用于闭塞感知人脸识别的公共数据集。与传统的方法不同，他们提出了一种通过映射面部特征点来合成咬合物的方法，这种方法更接近实际情况。他们提出了一种更接近实际情况的综合咬合的方法。通过将这种方法应用于现有的Webface数据集，构建了一个具有大规模遮挡的公共数据集。
此外，在该数据集上重新训练的ArcFace有一个LFW-面罩和RMFRD数据集，分别达到97.08%和78.25%的高准确率。
据NIST等许多国际组织报道，当戴上口罩后，传统人脸识别模型的准确率会明显下降。预计未来这种Webface-OCC将带来更大、更多样、更准确的咬合面识别数据集，提高人脸识别模型的准确性。
与本文相关的类别
