LowKey，打破商业面部识别API的用户保护系统!
三个要点
✔️ 提出了一个名为"LowKey"的工具来绕过人脸识别系统
✔️ 对图像进行预处理，使其无法用于人脸识别
✔️ 这个工具对商业黑盒人脸有效。认证API。
LowKey: Leveraging Adversarial Attacks to Protect Social Media Users from Facial Recognition
written by Valeriia Cherepanova, Micah Goldblum, Harrison Foley, Shiyuan Duan, John P Dickerson, Gavin Taylor, Tom Goldstein
(Submitted on 29 Sept 2020)
Comments: Accepted to ICLR 2021.
Subjects: facial recognition, adversarial attacks
code：
首先
面部识别（FR）系统是非常有效的技术，但也包含了侵犯个人隐私等风险。在本文中，我们介绍了一个名为"LowKey"的新系统，可以保护用户免受人脸识别系统的影响。
LowKey允许用户在发布图像之前对数据进行预处理，这样就不会被面部识别系统使用。令人惊讶的是，我们已经在商业黑盒人脸识别API中证明了它的有效性，如Amazon Rekognition和微软Azure Face。
预备
首先，我们解释一下人脸识别中的问题设置（或术语等）。
图库图片
画廊图像指的是身份明确（标注）的图像数据库。例如，它们是从护照上的大头照和社交网络上的个人资料图片中收集的。这些图像被用作人脸识别系统的信息源和参考图像。
探针图像
探针图像是指人脸识别系统想要识别主体人物的图像。例如，如果你想在监控摄像头中识别一个人，监控摄像头的图像就是探头图像。
识别/核查
身份识别是一项解决"这个人是谁"的任务。是解决"这个人是谁？"的任务。它是指从给定的探针图像中选择一个与图库图像中的图像主体相匹配的人。验证是一个任务，给定两张图像，问"这些是同一个人吗？"。(例如，用人脸识别解锁智能手机) 在本文介绍的论文中，我们特别注重识别。下面对LowKey方法的描述，也是假设要解决的任务是识别。
技术(低调)
在最先进的人脸识别系统中，检测到人脸的位置后，从探针图像中提取人脸的特征向量。在这些特征的基础上，采用k-最近邻方法在图库图像中寻找最相似的图像。所提出的方法LowKey，通过对可以作为画廊图像收集的图像（如SNS资料图像）应用过滤器来破坏画廊图像的特征向量。因此，它可能无法与相应的探针图像匹配。下图对此进行了总结
低键攻击
LowKey的目标是确保用户图像(假设作为画廊图像收集)不与同一个人的探针图像相匹配。
具体做法是生成一个特征向量与原始图像有显著差异的扰动图像（使探针图像和特征向量不匹配），同时使原始图像和扰动图像无法区分（使知觉相似度最小化）。具体做法是
LowKey的目标人脸识别系统是未知的，我们没有人脸位置检测等预处理的信息，也没有作为骨干的模型架构。为了提高其应对此类未知人脸识别系统的能力，对其进行训练，以欺骗各种算法获得的各种骨干架构的集合。
此外，通过使用有/无高斯滤波器平滑的两种图像，我们可以提高生成图像的质量和效果。在这种情况下，LowKey的目标由以下公式表示。
其中，$x$为原始图像，$x^{\prime}$为扰动图像（生成的图像），$f_i$为合集中的第i$个模型，$G$为高斯平滑函数，$A$表示提取图像中的人脸部分并将其大小调整为112×112的过程。$LPIPS$是感性相似度的衡量标准，即LPIPS（图像质量：用于提高与原始图像的相似度）。这个问题通过迭代更新$x^{\prime}$的方法（signed gradient ascent）来解决。
实验
实验设置
作为LowKey中使用的模型集合，我们使用ArcFace和CosFace人脸识别系统。对于这些系统中的每一个，我们在MS-Celeb-1M上训练ResNet-50/152和IR-50/152骨干模型。
在实验中，我们主要测试对FaceScrub数据集的攻击。具体来说，我们将每个身份的1/10的图像作为探针图像，其余的图像作为图库图像，对于随机选择的100个身份，我们将LowKey应用于相应的图库图像。
对商业黑盒API的影响
在上述实验设置下，我们测试了LowKey对两个商业人脸识别API（Amazon Rekognition和Microsoft Azure Face）的影响。结果如下：
在Amazon Rekognition和微软Azure Face中，都显示出它在干净的数据下非常有效地工作，并与现有的Fawkes方法进行了比较。
加试
LowKey工具的有效性取决于以下几个特点。
- 攻击也必须对未知型号有效。
- 图片必须是用户可以接受的。
- LowKey必须足够快。
- 即使保存为PNG或JPEG格式，它也必须有效。
- 它必须对任何尺寸的图像有效。
下面，我们对这些特点进行研究。
1.对未知机型的攻击是否有效？
对于每个攻击者/防御者，各种模式的结果如下。
如表所示，采用IR架构的攻击对IR人脸识别系统比较有效，采用ResNet的攻击对ResNet人脸识别系统比较有效。
然后我们发现，通过使用不同模型的集合，我们可以生成对所有模型都有效的攻击。
2.图片是否能被用户接受？
以下是有高斯平滑和没有高斯平滑的情况下攻击产生的例子。
上面一行对应的是没有高斯平滑的情况，下面一行对应的是有高斯平滑的情况。
平滑化后的情况下会产生更平滑的图像，如下表所示，平滑化更能提高攻击的性能。
此外，与现有方法和原始图像的比较如下所示。
第一行是原图，第二行是Fawkes（现有方法），第三行是LowKey（小攻击），第四行是LowKey攻击。一般来说，LowKey被认为能够在没有明显不适的情况下生成图像。
3.LowKey够不够快？
以Fawkes为基准比较执行时间。在单颗NVIDIA GeForce RTX 2080 TI GPU上，Fawkes平均每张图像需要54秒，而LowKey平均需要32秒。因此，LowKey的速度明显快于现有方法。
4.保存为PNG或JPEG格式后还有效吗？
在转换为PNG/JPG格式后，我们对商业API进行了实验，发现微软Azure Face对PNG格式的识别性能为0.1%，JPEG格式为0.2%。
Amazon Rekognition显示PNG为2.4%，JPEG为3.8%，说明攻击还是有效的，虽然压缩会降低一些性能。
5.它对任何尺寸的图像都有效吗？
下面是一个大图像的LowKey生成的例子。
上行是原始图像，下行是LowKey生成的结果。即使是大图像，LowKey也能生成没有明显不适感的图像。
摘要
在本文介绍的论文中，我们介绍了LowKey，一个保护用户免受面部识别系统影响的工具，并且已经针对商业黑盒API展示了其有效性。然而，它不可能百分之百地保护用户，进一步的面部识别系统设计成对扰动特别强大，甚至可以克服这些技术。
需要注意的是，它并不能完全消除用户泄露个人信息的风险，但它是防止人脸识别系统被滥用的一项非常重要的技术。
与本文相关的类别
