遮蔽物も再現可能！自然な顔変換を実現「FaceShifter」

GAN（敵対的生成ネットワーク） 2020年06月23日

3つの要点
✔️ 変換前画像の背景や変換先画像の顔なども自然かつ忠実に再現
✔️ 2つの画像のドメインを統合する新たなモジュール「AAD」の導入
✔️ 2-stage構造によりマスクや髪の毛などの遮蔽物も再現可能

FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping
written by Lingzhi Li, Jianmin Bao, Hao Yang, Dong Chen, Fang Wen
(Submitted on 31 Dec 2019)
Comments: Published by arXiv.
Subjects: Computer Vision and Pattern Recognition (cs.CV)

概要

本論文ではU-Net構造を用いた2つのネットワークを組み合わせることで、再現度の高い顔変換を可能にするFaceShifterというGANを提案しています。2つのネットワークはそれぞれAEI-Net (Adaptive Embedding Integration Network)、HEAR-Net (Heuristic Error Acknowledging Refinement Network)と名付けられています。

AEI-Netでは新たにAAD (Adaptive Attentional Denormalization) Layerというモジュールを追加することで、うまく顔情報と背景情報を再現することを可能にしています。

HEAR-Netでは入力を工夫することでAEI-Netでは再現できなかった顔を遮る物体(手や髪の毛、マスクなど)も再現することを可能にしています。

結果として以下のような顔変換が可能です。左端がソース画像で、「この人の顔に変換したい」という画像です。真ん中がターゲット画像で、「この人の顔を変換したい」という画像です。右端が変換結果で、ターゲット画像を再現しつつ、顔自体はソース画像と同じ顔に変換できていることがわかります。