FRCSyn 挑战赛通过合成数据集展示了人脸识别技术的潜力 (FRCSyn Challenge At WACV 2024: )

人脸识别 11/12/2023

三个要点
✔️ 人脸识别技术存在隐私和数据不平衡问题，有人提出使用合成数据集来应对这些挑战。
✔️ 这一新挑战利用合成数据集来评估人脸识别模型的性能，并与真实数据集进行比较，分析合成数据集的实用性。
✔️ RCSyn 挑战赛的结果表明，合成数据集有可能减少人脸识别技术的种族偏见并提高整体性能，此外，合成数据集和真实数据集的结合也很有效。

FRCSyn Challenge at WACV 2024:Face Recognition Challenge in the Era of Synthetic Data
written by Pietro Melzi, Ruben Tolosana, Ruben Vera-Rodriguez, Minchul Kim, Christian Rathgeb, Xiaoming Liu, Ivan DeAndres-Tame, Aythami Morales, Julian Fierrez, Javier Ortega-Garcia, Weisong Zhao, Xiangyu Zhu, Zheyu Yan, Xiao-Yu Zhang, Jinlin Wu, Zhen Lei, Suvidha Tripathi, Mahak Kothari, Md Haider Zama, Debayan Deb, Bernardo Biesseck, Pedro Vidal, Roger Granada, Guilherme Fickel, Gustavo Führ, David Menotti, Alexander Unnervik, Anjith George, Christophe Ecabert, Hatef Otroshi Shahreza, Parsa Rahimi, Sébastien Marcel, Ioannis Sarridis, Christos Koutlis, Georgia Baltsou, Symeon Papadopoulos, Christos Diou, Nicolò Di Domenico, Guido Borghi, Lorenzo Pellegrini, Enrique Mas-Candela, Ángela Sánchez-Pérez, Andrea Atzori, Fadi Boutros, Naser Damer, Gianni Fenu, Mirko Marras
(Submitted on 17 Nov 2023)
Comment: WACV 2024 Workshops
Subjects: Computer Vision and Pattern Recognition (cs.CV)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

概述

面部识别技术应用广泛，如监控摄像头、出入境管制、在线身份验证和智能手机解锁等。迄今为止，已经开展了大量研究。深度学习技术的最新进展、基于边际的损失函数的制定、大型数据集的开发以及其他各种因素促使人脸识别技术得到广泛应用。但与此同时，也出现了各种挑战。特别是数据集方面的各种挑战。例如，由于面部图像的处理存在隐私问题。此外，还有一些挑战，如训练数据集仍然有限、标签噪声大、与不同身份和人口群体相关的不平衡以及分辨率低等。

为了克服这些挑战，近年来人们一直在积极研究建立合成数据集的方法。合成高精度面部图像的能力可以解决隐私问题。分辨率和人口统计学也可以随意控制。

本文分析了一项名为 "FRCSyn Challenge "的人脸识别挑战赛（基准测试）的结果，该挑战赛评估了在合成数据上训练的人脸识别系统的性能，目的是测试合成数据的实用性。

在 FRCSyn 挑战赛中，参赛者接触了使用两个 SOTA 模型 "DCFace "和 "GANDiffFace "生成的合成数据库，以量化使用真实数据和合成数据训练的人脸识别模型的性能差异，目的是深入了解合成数据在人脸识别中的应用。目的是深入了解合成数据在人脸识别中的应用。它还为研究界提出了一个易于复制的标准基准。

数据集

FRCSyn 挑战赛为参赛者提供下载 FRCSyn 挑战赛所需数据集的机会。请注意，重新分发这些数据集已获得数据集所有者的许可

DCFace 和GANDiffFace作为合成数据集提供。下图显示了由 DCFace 和 GANDiffFace 生成的合成数据样本；在 FRCSyn 挑战赛中，这些合成数据仅用于训练人脸识别模型，而用于实际操作场景。

CASIAWebFace 和 FFHQ 也作为真实数据的训练数据提供。这些数据集分别用于训练 DCFace 和 GANDiffFace 生成框架。这样就可以直接比较只使用真实数据训练人脸识别模型的传统方法和使用合成数据训练人脸识别模型的新方法。

四个真实数据集--BUPT-BalancedFace、AgeDB、CFP-FP 和 ROF--被用来评估人脸识别模型。BUPT-BalancedFace 是为解决不同种族群体之间的性能偏差而设计的，它根据 FairFace 分类器对种族和性别进行了重新标记。这里考虑了八个人口群体，包括四个种族群体（亚洲人、黑人、印度人和白人）和两种性别（女性和男性）；AgeDB 是一个与年龄变化有关的数据集，而 CFP-FP 是一个考虑面部朝向变化的数据集。ROF 也是一个考虑到屏蔽的数据集。

这些数据集被广泛用作人脸识别模型的基准。此外，还通过使用不同的真实数据集进行训练和评估，对所提出的人脸识别模型的通用性进行了分析。

FRCSyn 挑战赛

FRCSyn 挑战赛由 Codalab 主持，这是一个用于开展科学竞赛和基准测试的开源框架。该挑战赛旨在将合成数据应用于人脸识别模型的训练，尤其关注当前人脸识别技术中的两个关键挑战：减少种族偏差和提高挑战条件下的整体性能，包括年龄、面部朝向变化、遮挡和不同种族。

为了评估这些方面的性能，FRCSyn 挑战赛考虑了两个任务，此外，每个任务还包括两个子任务。这两个子任务的重点是人脸识别模型的训练数据，一个是 "仅使用合成数据"，另一个是 "结合真实和合成数据"。下表概述了每个子任务。

为评估真实数据与合成数据之间的差距（GAP），评估指标根据实际（REAL）与合成（SYN）验证准确度之间的差异计算 GAP = (REAL - SYN) / SYN。任务 1 还定义并评估了不同种族验证准确度的平均值 (AVG) 和标准偏差 (SD) 之间的权衡 (TO = AVG - SD)。

结果

下表显示了 FRCSyn 挑战赛中各任务的排名。任务 1（子任务 1.1 和 1.2）的重点是减少种族偏见，按 TO（权衡）降序和 SD 升序排列，即从偏见较少的人脸识别模型到偏见较多的模型。其中，在子任务 1.1 中，前两个小组的 GAP 值分别为-0.74%和-3.80%，这表明 DCFace 和 GANDiffFace 的合成数据有可能减少当前人脸识别技术的偏差。

在子任务 1.2 中，训练数据中包含了真实数据，随着平均值的增加，标清值呈下降趋势。此外，正如在子任务 1.1 中所看到的，在子任务 1.2 中，排名第一的小组的 GAP 值为负数，这表明将合成数据和真实数据相结合的模型（建议的模型）优于仅使用真实数据训练的人脸识别模型。

就任务 2 而言，可以看出整个数据集在子任务 2.1 和 2.2 中的平均准确率低于 BUPT-BalancedFace 在子任务 1.1 和 1.2 中的准确率。此外，虽然在子任务 2.1 中仅使用合成数据进行训练表现良好，但排名前五的团队的 GAP 值均为正值，这表明仅使用合成数据不太可能完全取代真实数据。然而，子任务 2.2 中排名前两位的团队的 GAP 值为负，这表明将合成数据与真实数据相结合可以减少现有的局限性。