商用顔認識APIを破るユーザー保護システム「LowKey」登場！
3つの要点
✔️ 顔認証システムを回避するツール"LowKey"を提案
✔️ 画像の前処理を行うことにより、顔認証に画像を利用できないように加工
✔️ 商用のブラックボックス顔認証APIに対しても有効性を発揮
LowKey: Leveraging Adversarial Attacks to Protect Social Media Users from Facial Recognition
written by Valeriia Cherepanova, Micah Goldblum, Harrison Foley, Shiyuan Duan, John P Dickerson, Gavin Taylor, Tom Goldstein
(Submitted on 29 Sept 2020)
Comments: Accepted to ICLR 2021.
Subjects: facial recognition, adversarial attacks
code：
はじめに
顔認識(FR:Facial recognition)システムは、非常に有効な技術でありながらも、個人のプライバシー侵害等のリスクをも包含しています。本記事で紹介する論文では、顔認識システムからユーザーを保護する新たなシステム"LowKey"を提示しています。
LowKeyは、ユーザーが画像を公開する前にデータの前処理を行うことで、顔認識システムのために画像を利用することが出来ないようにすることができます。驚くべきことに、Amazon RekognitionやMicrosoft Azure Faceなどの、商用のブラックボックス顔認識APIにおいても、その有効性が実証されました。
事前準備
はじめに、顔認識における問題設定(あるいは用語等)について説明します。
・Gallery images(ギャラリー画像)
ギャラリー画像は、身元(identity)が明らかな(ラベル付けされた)画像データベースを指します。例えば、パスポートの顔写真やSNSのプロフィール画像などから収集されます。これらの画像は、顔認識システムの情報源・参照用画像として用いられます。
・Probe images(プローブ画像)
プローブ画像は、顔認識システムが被写体の人物を識別(identify)したい画像を指します。例えば、監視カメラに写った人物が誰かを特定したい場合では、監視カメラの映像がプローブ画像にあたります。
・Identification/verification
identificationは、「この人は誰か？」という質問に対処するタスクです。このとき、与えられたプローブ画像から、その画像の被写体と一致する人物をギャラリー画像内から選択します。
verficationは、二枚の画像が与えられたとき「これらは同一人物か？」という質問に対処するタスクです(スマホの顔認証によるロック解除など)。本記事で紹介する論文では、特にidentificationに焦点を当てています。以下に続くLowKey手法の解説でも、対処するタスクがidentificationであることが前提になります。
手法(LowKey)
最先端の顔認識システムでは、顔の位置を検出した後、プローブ画像から顔の特徴ベクトルを抽出します。この特徴をもとに、k-近傍法を用いて、ギャラリー画像内の最も類似した画像を発見します。
提案手法であるLowKeyでは、ギャラリー画像として収集されうる画像(SNSのプロフィール画像など)にフィルタを適用することで、ギャラリー画像の特徴ベクトルを破損させます。結果として、対応するプローブ画像との照合に失敗させることができます。これは以下の図で要約されます。
LowKey Attack
LowKeyの目標は、(ギャラリー画像として収集されると想定される)ユーザー画像が、同一人物のプローブ画像と一致しないようにすることです。
これは、特徴ベクトルが本来の画像から大きく異なるような摂動画像を生成する(プローブ画像と特徴ベクトルが一致しないようにするため)と同時に、元の画像と摂動画像との見分けがつかないようにする(perceptual similarity:知覚的類似性を最小化する)ことにより実行されます。
LowKeyの対象となる顔認識システムは未知であり、顔位置の検出などの前処理や、バックボーンとして利用されているモデルアーキテクチャなどの情報は得られません。こうした未知の顔認識システムへの対処能力の向上のため、様々なアルゴリズムにより得られた様々なバックボーンアーキテクチャのアンサンブルを騙すように学習されます。また、ガウシアンフィルタによる平滑化を行う/行わない画像の両方を利用することで、生成される画像の質・効果を向上させます。このとき、LowKeyの目標は以下の式で表されます。
ここで、$x$はオリジナル画像、$x^{\prime}$は摂動画像(生成される画像)、$f_i$はアンサンブル内の$i$番目のモデル、$G$はガウシアン平滑化関数、$A$は画像内の顔部分を抽出し、112×112にリサイズする処理を示します。
$LPIPS$は、知覚的類似性を示す指標であるLPIPSにあたります(画像の質:元画像との類似性を高めるために用いられます)。この問題は、符号付き勾配上昇法(signed gradient ascent)により$x^{\prime}$を反復的に更新することで解かれます。
実験
実験設定
LowKeyで用いるモデルのアンサンブルとして、ArcFace、CosFace顔認識システムを利用します。これらのシステムそれぞれについてMS-Celeb-1M上でReseNet-50/152、IR-50/152のバックボーンモデルを訓練します。実験では主に、FaceScrubデータセットに対する攻撃のテストを行います。具体的には、各identityの画像の1/10をプローブ画像として、残りをギャラリー画像として利用し、ランダムに選択された100個のidentityについて、対応するギャラリー画像にLowKeyを適用します。
商用ブラックボックスAPIに対する効果
前述した実験設定のもと、二つの商用顔認識API(Amazon RekognitionとMicrosoft Azure Face)におけるLowKeyの効果をテストします。結果は以下の通りです。
Amazon Rekognition、Microsoft Azure Faceのどちらにおいても、クリーンなデータや既存手法のFawkesと比較し、非常に有効に機能することが示されました。
追加実験
LowKeyツールの有効性は、以下に示すいくつかの特性に依存しています。
- 攻撃は未知のモデルに対しても有効である必要があります。
- 画像はユーザーに受け入れられるものである必要があります。
- LowKeyは十分に高速である必要があります。
- PNGやJPEG形式で保存した後でも有効である必要があります。
- どのようなサイズの画像にも有効である必要があります。
以降ではこれらの特性について調査を行います。
1.攻撃は未知のモデルに対しても有効か
攻撃者/防御者それぞれについて、様々なモデルを用いた場合の結果は以下の通りです。
表の通り、IRアーキテクチャによる攻撃はIR顔認識システムに対して、ResNetによる攻撃はResNet顔認識システムに対してより有効となっています。そして、様々なモデルのアンサンブルを利用することにより、全てのモデルに対して有効となる攻撃を生成できることがわかりました。
2.画像はユーザーに受け入れられるものであるか
ガウシアン平滑化処理を行った場合と行わなかった場合について、攻撃の生成例は以下の通りです。
上段はガウシアン平滑化を行わなかった場合、下は行った場合に該当します。平滑化を行った場合のほうがよりなめらかな画像を生成しており、また、以下の表に示される通り、平滑化を行うことで攻撃の性能をより高めることができます。
また、既存手法やオリジナル画像との比較は以下の通りです。
一行目はオリジナル画像、二行目はFawkes(既存手法)、三行目はLowKey(small attack)、四行目はLowKey attackです。総じてLowKeyは、大きな違和感のない画像を生成することができていると考えられます。
3.LowKeyは十分に高速であるか
ベースラインとしてFawkesとの実行時間の比較を行います。
このとき、NVIDIA GeForce RTX 2080 TI GPUを一台利用した場合、Fawkesは1画像あたり平均54秒を要するのに対し、LowKeyは平均32秒で抑えられました。そのため、LowKeyは既存手法と比べて大幅に高速であるといえます。
4.PNGやJPEG形式で保存した後でも有効であるか
PNG/JPG形式に変換した後で商用API上での実験を行った結果、Microsoft Azure Faceの認識性能はPNG形式で0.1%、JPEG形式で0.2%となりました。Amazon Rekognitionでは、PNGで2.4%、JPEGで3.8%となっており、圧縮によって性能は少し低下するものの、依然として攻撃が有効に機能することがわかりました。
5.どのようなサイズの画像にも有効であるか
大きな画像に対するLowKeyの生成例は以下の通りです。
上段はオリジナル画像を、下段はLowKeyによる生成結果を示しています。大きな画像に対しても、LowKeyは大きな違和感のない画像を生成することができています。
まとめ
本記事で紹介した論文では、顔認証システムからユーザーを保護するためのツールであるLowKeyを提示しており、商用のブラックボックスAPIに対してもその有効性は実証されています。ただし、100%の確率でユーザーを保護することができるわけではなく、また、摂動に対するロバスト性を特別に高めるよう設計された顔認証システムが更に現れれば、こうした技術をも克服されてしまう可能性もあります。
ユーザーが個人情報を公開することのリスクを完全に消失させるものではないことには少々注意が必要ですが、顔認証システムの悪用を防ぐための非常に重要な技術であると言えるでしょう。
この記事に関するカテゴリー
