顔画像からメガネを除去！顔から遮蔽物を無くすことで顔認識性能の低減を防ぐ「ByeGlassesGAN」
3つの要点
✔️ 顔画像から自動でメガネを除去するフレームワークを提案
✔️ フレームワークを学習するためのデータ合成方法を提案、着色レンズ/グレアなどにも対応
✔️ このフレームワークを顔認識の前処理に適用することでメガネを着用している場合に顔認識精度が大幅に向上
ByeGlassesGAN: Identity Preserving Eyeglasses Removal for Face Images
written by Yu-Hui Lee, Shang-Hong Lai
(Submitted on 25 Aug 2020)
Comments: Accepted at ECCV2020
Subjects: Multimedia (cs.MM)
概要
空港やオンライン本人確認（eKYC）、スマホのロック解除（Face ID）など、さまざまな用途で顔認識サービスが利用されています。ディープラーニングによる最先端の顔認識技術によって実用化が可能になりました。しかし、現在でもメガネで顔の一部が覆われる場合には顔認識精度が低下します。
これまでも顔認識におけるメガネの影響をなくすために「メガネを除去する技術の研究」「メガネ着用時の学習データ不足を改善してメガネに対する認識精度を向上させる研究」が行われてきました。メガネを除去する技術の研究では、PCAや部分空間法によってメガネを除去する研究は行われましたが、性能が十分ではなく、顔認識タスクにおける検証も不十分でした。また、学習データ不足の改善に関する研究では、GANを利用してメガネを着用した顔画像を生成する手法が研究され、高い精度を報告しています。
この論文では、高い精度が報告されているGANを利用する一方で、メガネを除去する新しいフレームワークを提案しています。このフレームワークを顔認識の前処理に利用することで、メガネ着用時に認識精度が大幅に向上することがわかりました。また、従来のGANの手法と異なる点として、メガネを着けていない顔画像が生成できるため、お試しでの化粧（virtual makeup）など、さまざまなアプリケーションへの応用が期待できます。
ByeGlassesGANの仕組み
ByeGlassesGANの概要は下図のようになります。ByeGlassesGANはGeneratorが1つ、Identity Extractorが1つ、Discriminatorが2つで構成されています。そして、Generator（G）は、Encoder（E）、Face Decoder（FD）、Segmentation Decoder（SD）の3つで構成されます。
画像（x）を入力すると、Encoder（E）が顔の特徴量を抽出します。その後、Face Decoder（FD）でメガネを除去した顔画像（y^）を生成します。この時、Segmentation Decoder（SD）でセグメンテーションしたメガネと顔の形状のバイナリマスクを利用しています。メガネだけでなく、顔の形状のバイナリマスクも活用することで、メガネと顔の区別をより精密に学習することができます。メガネのバリエーションや顔の向きなどに堅牢なモデルにすることができます。ByeGlassesGANによって顔認識の精度が向上するためには、生成された画像（メガネなし）がより実画像（メガネあり）に近く、実画像と同じ人物と識別される必要があります。
生成された画像（y^）を実画像に近づけるために、GlobalとLocalのDiscriminatorを適用しています。Globalでは顔画像全体の再現性が高くなるように学習し、Localでは修復された目元の部分を再現性が高くなるように学習しています。また、メガネが無い状態でも同一人物と識別できるためにIdentity Extractorで生成画像（y^）と入力画像（y）の特徴ベクトル間の距離を最小化しています。
続きを読むには
(7131文字画像14枚)AI-SCHOLARに
登録いただく必要があります。
この記事に関するカテゴリー
