MaskInv是一个使用蒸馏法的强大的面具人脸识别模型，它的力量是什么？
三个要点
✔️知识提炼，学习嵌入层，使 "蒙面 "和 "非蒙面 "的人脸图像接近，以及ElasticFace-Arc。
✔️在MFRC-21挑战赛中，在 "蒙面对蒙面 "和 "蒙面对非蒙面 "两种情况下都取得了SOTA，对MFR2的准确度有所提高。
✔️实现了与传统人脸识别模型相媲美的 "无掩饰对无掩饰 "的性能。
Mask-invariant Face Recognition through Template-level Knowledge Distillation
written by Marco Huber, Fadi Boutros, Florian Kirchbuchner, Naser Damer
(Submitted on 10 Dec 2021)
Comments: Accepted at the 16th IEEE International Conference on Automatic Face and Gesture Recognition, FG 2021
Subjects: Computer Vision and Pattern Recognition (cs.CV)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述。
面部识别技术在2019年前后开始得到广泛的使用。在其他国家，它被用于广泛的目的，从商店付款到刑事调查。在日本，它也被用于机场的进出关口。
随着最近冠状病毒感染的蔓延，面部识别设备已经变得越来越明显和熟悉，因为具有面部识别功能的设备已经被引入各种设施，包括商业机构、住宿设施和医院，以检查体温。
此外，在全国各地的城市、乡镇和村庄、公共交通、商业设施和其他地点，正在进行利用面部识别的示范工作。在富山市、富士五湖、赤川村国际度假村、大阪道顿堀购物中心、JR、机场、快餐店等地，各种举措都在进行。所有这些举措都实现了对面部识别有用性的高度满意，因为它允许观光和其他活动，不需要门票、钥匙、钱包或其他物品，也不需要离开你的手。
随着像这样的例子越来越多，面部识别正稳步变得越来越广泛。这一天可能很快就会到来，你也会不假思索地使用面部识别。
然而，随着2019年接近尾声，冠状病毒在世界各地肆虐，面部识别的新挑战已经出现。这就是 "面具"。
正如美国国家标准与技术研究所（NIST）和世界各地的研究机构已经验证的那样，传统的面部识别系统被发现在用于戴面具的人时，其准确性明显降低。因此，在人脸识别越来越广泛的同时，当今世界的一个研究课题是戴面具时的人脸识别技术。
在本文中，我们应用 "知识蒸馏 "和 "弹性面孔-弧"，提出了一种名为 "MaskInv "的方法，无论是否佩戴面具，该方法都显示出很高的性能。
什么是MaskInv？
MaskInv（见下文）使用知识提炼来训练嵌入层：教师网络被输入没有面具的人脸图像，而学生网络被输入有面具和无面具的人脸图像。通过这种学习，使戴面具和不戴面具的嵌入者变得更加紧密。
在进行知识提炼的同时，学生网络还学习了分类层，以便将被掩盖和未被掩盖的面孔分类为同一个人。此时，在ElasticFace中引入的损失函数'ElasticFace-Arc'，实现了SOTA，被用作人脸识别模型。
通过同时学习这两层，构建了一个人脸识别模型，该模型可以将被掩盖和未被掩盖的人脸高度准确地分类为同一个人。
教师网络建立在ElasticFace上，它已经实现了SOTA；MS1MV2（数据集）与ElasticEace-Arc（损失函数）。基于ResNet-100的人脸识别模型是经过预训练的。请注意，这是ElasticFace的作者发表的模型。学生网还使用了一个它采用基于ResNet-100的架构，并以它是在MS1MV2（数据集）上训练的。ResNet-100是近年来在人脸识别模型中常用的一种架构，已经取得了SOTA。
输入到学生网络的带面具的人脸图像是通过合成预先生成的面具而产生的。面具是利用面部的特征点合成的，颜色和形状是随机生成的。
正如我们所看到的，MaskInv同时通过教师网络训练嵌入层的知识提炼和使用ElasticFace-Arc训练分类层。因此，MaskInv的损失函数被定义为通过知识蒸馏学习的LKD和通过ElasticFace-Arc学习的LElasticArc之和。
ElasticFace-Arc是一个损失函数，它放宽了其他人脸识别模型中引入的损失函数中的固定边际约束，实现了高精确度。这使得嵌入的分类更加灵活（见下图，取自ElasticFace: Elastic Margin Loss for Deep Face Recognition）。
弹性弧线用以下公式表示
还有。LKD用以下公式表示，适用于教师网络和学生网络的嵌入它的设计是为了最大限度地减少因戴口罩而引起的嵌入错位。
基准
在性能评估中使用了MFRC-2和MFR2数据集，这些数据集包含了遮蔽的面部图像。此外，还使用了常用于人脸识别模型性能评估的数据集LFW、CFP-FP、AgeDB-30、CALFW和CPLFW。由于这些数据集不包含带面具的人脸图像，生成的面具被合成以提供带面具的人脸图像。
还有六个模型可供评估。(1)ArcFace，最近取得了SOTA认证(2)MagFace，用作教师网络（3）ElasticFace-Arc（基线），知识蒸馏被引入基线和Ltotal时。λ=0，消除了知识蒸馏的优化（4）。ElasticFace-Arc-Aug,.在Ltotal。λ的值减少了，通过知识蒸馏的优化被削弱了 (5) MaskInv-LG, ．在Ltotalλ值增加，通过知识蒸馏提高优化程度。(6)MaskInv-HG已经过比较验证。
下表显示了MFRC-21在有面具与无面具的图像上的1:1人脸识别性能的评估结果，其中FMR1000是在FMR（虚假匹配率=虚假陌生人接受率）为0.1%时的FNMR（虚假匹配率）。虚假非匹配率=虚假身份拒绝率；FMR100表示FNMR（虚假匹配率=虚假的陌生人接受率）为1.0%。虚假非匹配率=虚假身份拒绝率）。FDR也代表Fisher Discriminant Ratio。特别是。FMR1000也是自动进入和退出的要求，这是一个高安全标准。
看一下最高标准FMR1000的评估性能，可以看出，与ElasticFace-Arc（基线）相比，应用了知识蒸馏的模型（MaskInv-LG和MaskInv-HG）的性能有所提高。这意味着，知识提炼提高了带面具的人脸识别性能。
下表显示了使用MFRC-21对被遮蔽与未被遮蔽的图像进行1:1人脸识别性能评估的结果。这里也可以看出，知识提炼同样可以提高带面具的人脸识别性能。
下表显示了使用MFR2对有遮蔽与无遮蔽图像进行1:1人脸识别性能评估的结果，FAR2000的错误接受率（FAR）为0.2%。TPR（T芸芸众生的阳性率。
在这里。在FAR 2000中。MaskInv-LG已从83.25%增加到91.98%，和MaskInv-HG是。83.25%至业绩已提高到92.21%。MaskInv-HG已经能够ElasticFace-Arc（基线）和可以看出，MaskInv-LG模型比MaskInv-LG模型显示出更好的性能。
上表还显示，无面具人脸识别模型实现了SOTA。基于MagFace和Arcface的模型是其性能略逊于遮蔽数据集MFRC-21和MFR2，表明需要对遮蔽人脸识别进行调整。
下表显示了经常用于评估人脸识别模型性能的数据集对照 "LFW"、"CFP-FP"、"AgeDB-30"、"CALFW "和 "CPLFW"，准确率（%）。这里，对三种情况的性能进行了评估。
首先是一个保持无掩饰的数据集，并且不戴面具对。无面罩（无面罩）第二种是数据集，在每对图像中的一个图像上合成掩码，是掩码与非掩码（Masked vs Non-Masked）的性能评估；第三种是数据集，在每对图像中的两个图像上合成掩码，是掩码与非掩码（Masked vs Non-Masked）的性能评估。面具。有了。VS. 面具。是(Masked vs Masked)性能评估。
从上表可以看出，所有三个模型（我们的）在没有面具（1:1）的人脸识别中比有面具（1:1）和有面具（1:1）的传统人脸识别模型表现得更好。
MaskInv-LG和MaskInv-HG的准确率有高有低，取决于数据集，但总体而言ElasticFace-Arc（基线）和准确度比ElasticFace-Arc-Aug高，而且可以认为，通过引入知识蒸馏优化，Accucacy得到了改善。
然而，在蒙面人对非蒙面人（蒙面人对非蒙面人）VS。蒙面人vs. 面具。是(蒙面人对蒙面人)。ElasticFace-Arc（基线）和使用ElasticFace-Arc-Aug的准确度差异较小。
这是因为MaskInv使用知识蒸馏法来确定掩码。是和不戴面具这是因为其目的是训练他们获得接近的Embeddings与蒙面与非蒙面（Masked vs Non-Masked）被认为是直接受到知识蒸馏的影响，而蒙面人vs.面具。是(蒙面人对蒙面人)，。有人认为MaskInv的知识提炼不太有效，因为它只要求被掩盖的和未被掩盖的之间有相似性。
还有。在有面具的情况下，MagFace、ArcFace和ElasticFace-Arc（基线）人脸识别的性能相对较低，这仍然表明需要对蒙面的模型进行优化和调整。
摘要
这些结果表明，MaskInv通过知识提炼，为被遮蔽和未被遮蔽的人脸图像学习近似的嵌入技术，提高了准确性。特别是，学习过程表明蒙面的与不蒙面的(蒙面对非蒙面)这些结果在以下方面是有用的。这有望在实际情况下使用，例如移民检查，将护照上的脸部图像与个人的脸部进行比较。
此外，还发现它对面部方向的变化（交叉姿势）和随时间变化（交叉年龄）也很有用。它也可以应用于构建通用的人脸识别模型。
结果还显示，没有为戴口罩而设计的传统人脸识别模型的性能不如为戴口罩而调整的人脸识别模型。这表明，要想在遮蔽条件下实现高精确度，必须进行相应的优化和调整。
2022年4月，冠状病毒仍在广泛传播，没有结束的迹象。在未来，预计人们将在许多地方继续戴口罩，2022年3月15日，苹果也启用了戴口罩时的面部识别。这将是未来面部识别服务的一个基本功能。
而本文提出的MaskInv特征学习不仅可能对有无面具的情况有用，也可能对部分面部被遮挡的情况有用，因此是一种具有广泛适用性的通用方法。
与本文相关的类别
