可解释的人脸识别（XFR）人脸识别模型是根据什么来识别个人的？

图片识别 17/09/2020

3つの要点
✔️ 顔認識モデルの認識根拠を可視化するExplainable Face Recognition（XFR）のベースラインを提供
✔️ XFRを精細かつ定量的に評価する包括的な手法（Inpainting Game）と指標を提案し、データセットも提供
✔️ 新たに提案した2つのアルゴリズム（Subtree EBP、DISE）で従来より高い性能を達成

Explainable Face Recognition
written by Jonathan R. Williford, Brandon B. May, Jeffrey Byrne
(Submitted on 3 Aug 2020)
Comments: Accepted at ECCV2020
Subjects: Computer Vision and Pattern Recognition (cs.CV)
Project Code

Explainable Face Recognition (XFR) とは？

顔認識には1:N（Identification）と呼ばれるタスクがあります。これは、ある1人の顔写真を登録済みのN人の顔写真と比較して、類似度が最も高い人物を探してくるタスクです。

このタスクは犯罪捜査や入退館などに活用されています。犯罪捜査では、防犯カメラに映った顔を検出し、犯罪者データベースと照合することで犯人特定を効率化します。また、入退館では、入館ゲートで顔を撮影し、社員データベースと照合することで、ハンズフリー&ウォークスルーの入館を可能にします。

近年、ディープラーニングのブレイクスルーによって顔認識の精度が大幅に向上した結果、実用が可能になりました。しかし、一方で、モデルが複雑化し、判断基準がブラックボックスになっているため、そのモデルの認識結果を信用するには一定のリスクが伴います。

その顔認識モデルは、なぜ他の画像と比べてその画像が最も類似度が高いと判断したのでしょうか。その根拠はなんでしょうか。

この根拠を可視化するモデルがExplainable Face Recognition（以下、XFR）です。モデルの判断根拠を可視化することは、顔認識技術を安全に活用する上で重要な要素の一つです。

この論文では、この判断根拠をより正確に検出し、評価する方法を提案しています。下図がこの論文の概要です。まず{Mate #1,、Probe、Non-mate（Inpainted）}を1組としてXFRに入力します。次にXFRが{Probe、Mate #1}、{Probe、Non-mate（Inpainted）}でProbabilityの差が最も大きいピクセルを算出し、XFR Saliency Mapを作成します。最後に、XFR Saliency MapとNon-mate（Inpainted）（Mate #2）の一致度をピクセル単位で算出します。一致していればTrue Positive (Green)、一致していなければFalse Positive（Red）になります。Redが少なく、Greenが多いほど細部の微妙な違いを正確に認識した上で識別していることになり、信頼できるモデルと言うことができます。