SF-MASK：一个基准数据集，用于对低分辨率监控录像中的蒙面人进行分类。
三个要点
✔️ 发现现有公共数据集中的缺失数据
✔️ 填补缺失数据，建立新的数据集，供监控摄像头使用
✔️ 实现比现有公共数据集更高的精度
A Masked Face Classification Benchmark
written by Federico Cunico, Andrea Toaiari, Marco Cristani
(Submitted on 23 Nov 2022)
Comments: Accepted at T-CAP workshop @ ICPR 2022
Subjects: Computer Vision and Pattern Recognition (cs.CV)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
摘要
随着COVID-19疫情的发生，世卫组织提供了指导方针，并在全世界范围内推荐佩戴口罩。此外，各国大学和研究机构的研究结果表明，口罩是预防感染的一种简单而有效的方法。在欧洲和美国，不再要求将口罩作为接种疫苗的条件，但在包括日本在内的一些国家和地区，或在有限的环境中，如室内或公共交通工具上，仍然建议使用口罩。而一些报告预测，2020年一次性口罩的产量将高达520亿个，到2030年市场规模将达到2800亿日元。在任何情况下，似乎在许多情况下仍然需要戴口罩。而且为了防止人们在需要戴口罩的情况下忘记戴口罩，还提供了口罩佩戴情况检查服务。
这种情况导致了技术的发展，将戴面具的人脸和不戴面具的人脸进行分类。特别是，从监控录像中对有面具和无面具的人脸进行分类是最困难的任务之一（这只是一个技术验证，这里不讨论现实世界中的隐私和道德问题）。如下图所示，人脸大小不一，部分隐藏的人脸，各种人脸方向（如朝前、朝下和朝上等）和各种面具类型。
在本文中，我们通过建立一个新的数据集SF-MASK来解决这些问题，该数据集适用于小尺寸人脸、部分隐藏的人脸、各种人脸方向和各种面具类型等。SF-MASK是通过收集已经发布的面具相关数据集而构建的。同时，通过分析现有数据集中缺失的数据和补充缺失的数据，使其更加完整。本节探讨了SF-MASK的细节和它的作用。
什么是SF-MASK？
SF-MASK建立在一个传统的人脸图像数据集上，包括那些戴着面具的图像。下表显示了本研究中使用的数据集和数据集中的图像组成，其中Mask代表戴有面具的图像，No-Mask代表未戴面具的图像，Wrong-Mask代表戴有面具但鼻子伸出来、戴在下巴上或未正确佩戴的图像。这代表了戴着口罩但鼻子伸出来，戴在下巴上，或没有正确佩戴的图像。此外，本案中使用了低分辨率的图像（64×64像素或更低），用于监控摄像头，这些图像被指定为小号。
从表中可以看出，脸部面具标签数据集（FMLD）是一个具有大量图像的大型数据集，Moxa3K数据集具有许多群组图像和小的个体脸部尺寸，医疗面具数据集具有各种类型的面具磨损
SF-MASK首先将所有的数据集合并为一个：49,146个Mask和No-。马斯克是47,503，沃恩-马斯克是1,747。然后应用结构相似性（SSIM）来去除可能的重复，只留下64×64像素或更小的图像。最后的结果是9,055个面具，12,620个无面具和1,701个错误的面具。数据集中的图像尺寸分布如下。
一个SF-MASK数据集的样本如下图所示。彩色编码区域的大小代表了数据集中成分的百分比。
此外，从上图可以看出，在SF-MASK内部已经创建了一个名为SF-Mask测试集的测试数据集。由于我们正在测试用于监控摄像机的案例，我们通过从意大利维罗纳大学ICE实验室的多个监控摄像机拍摄的视频序列中获取1,077幅图像，创建了一个测试数据集。这包括584张面具、270张无面具和223张错误的面具图像。
此外，在用计数网格分析SF-MASK时，发现它包含很少的"从上面拍摄的图像"，这在监控摄像机拍摄条件下是很常见的。因此，在本文中，缺失的图像已被合成并添加到数据集中，以便在监控摄像机条件下良好地工作。在上图中，它被认为是 "合成的"。下图显示了合成图像的一个样本。可以看出，在面具类型和种族方面的多样性也得到了保证。
这些已被调整为与SF-MASK相同的图像大小，使用MakeHuman和Blender创建了超过12000个合成人体，如具有不同年龄、种族、性别和服装的人。
还分析了综合数据的有用性。无合成数据（无合成）、合成数据（合成）和SF-MASK测试数据（测试）的SF-Mask训练数据被随机抽样，用ResNet-50提取特征，然后应用内核PCA。下图显示了可视化的情况。
在(a)中，可以看到增加的合成物（绿色）覆盖了没有我们（没有合成物） 的区域（蓝色），弥补了数据中多样性的不足 。在（b）中，加入合成（绿色）增加了与测试（红色）重叠的区域数量，表明相对于测试（红色）而言，它达到了高覆盖率。
与传统的数据集相比？
目前正在进行两个实验：第一个实验评估了来自传统数据集和SF-MASK（有/无合成物）的训练数据的有用性。具体来说，四个模型（Resnet-50、VGG19、MobileNetv2和EfficientNet）分别在七个数据集（MMD、FMD、Medical Mask、FMLD、Moxa3K、Ours（no synth.）和Ours）上进行了训练，ICE在实验室中获得的数据集上进行测试，其中Ours（无合成）是不包括合成图像的数据集，Ours是包括合成图像的数据集。
如上所述，在ICE实验室获得的测试数据集由1077张图像组成（面具：584张，无面具：270张，Worng-面具：223张），这些图像来自意大利维罗纳大学ICE实验室的几个监控摄像头拍摄的视频序列。本文的目的是将该系统用于监控摄像机。
结果显示在下面的表格中。在有合成数据的数据集Ours中，所有模型的准确率都高于传统数据集；在没有合成数据的数据集Ours中，MobileNet和EfficientNet的准确率也比传统数据集高（无合成数据）。准确性得到了提高。
论文认为，Ours的准确率较高的原因是补充了监控摄像机特有的视角的图像，如"从上面拍摄的图像"，这在以前的数据集中没有包括，因此产生了积极的影响。不测试只在RMFRD数据集上训练的模型的原因是，RMFRD不包括No-Mask图像，不能与其他数据集进行公平的比较。
在第二个实验中，为了研究对准确性影响最大的数据集，我们使用leave-在本实验中，采用 "一出一进 "的方法。具体来说，从SF-MASK中提取特定的数据集并进行训练，然后针对提取的数据集和SF-MASK测试集对其性能进行评估。所有模型都以ResNet-50为基础。结果如下表所示，其中Dataset Left Out是被遗漏的数据集。
表中显示，当FMLD被超越时，准确性下降得最多。这是由于FMLD是最大的数据集，因此具有更大的影响。请注意，RMFRD也被排除在这个实验之外 ，因为它不包含No-Mask图像，不能与其他数据集进行公平的比较 。
摘要
自2019年以来，COVID-19一直在肆虐。另一方面，自疫苗开发以来，在欧洲和美国，不戴口罩已变得越来越普遍，在日本，宣布原则上不需要在户外戴口罩（厚生劳动省）。然而，由于感染者的数量仍在定期增加，而佩戴口罩是预防感染的一个简单而有效的手段，某些国家、地区和设施要求在室内和其他某些环境中佩戴口罩。而且这些国家、地区和设施还引入了检测未佩戴口罩的系统，以防止人们忘记佩戴口罩。
本文针对这种情况提出了一个新的数据集SF-MASK，它有助于建立一个模型，从监控录像中检测戴面具的情况。
在收集常规数据集和收集各种类型的面具颜色和形状后，对缺失的数据进行分析和综合，以建立一个具有更高的通用性的数据集。在这种情况下，我们假设使用监控摄像机的录像，但由于传统的数据集中很少有从顶部角度拍摄的图像，我们将其合成并添加到数据集中。
虽然COVID-19是本文研究的动机，但未来很可能会有新的传染病扩展，数据集的开发和研究对未来社会是有意义的。
与本文相关的类别
