GANによって生成された顔は、瞳孔で判断できる
3つの要点
✔️ 高品質なStyleGANで生成された顔は、実際の人間の瞳孔とは異なることが判明
✔️ 不規則な瞳孔形状を手がかりとしてGAN生成顔を検出することができる、シンプルかつ効果的な手法を提案
✔️ 人間がGAN生成顔を視覚的に識別するための良い手がかりとなる
Eyes Tell All: Irregular Pupil Shapes Reveal GAN-generated Faces
written by Hui Guo, Shu Hu, Xin Wang, Ming-Ching Chang, Siwei Lyu
(Submitted on 1 Sep 2021)
Comments: Published on arxiv.
Subjects: Computer Vision and Pattern Recognition (cs.CV)
code：
本記事で使用している画像は論文中のもの、またはそれを参考に作成したものを使用しております。
はじめに
GANの発展により、見分けがつかないほどの顔画像を生成することが可能となってきたことは皆さんもご存知だと思います。こういった技術発展が進む中で、生成された顔をプロフィール画像として使用したソーシャルメディアの偽アカウントの登場など、悪い面もあります。そのため、GANの発展とともにDeep Learningモデルを用いた生成された顔画像検出アプローチが開発されるなどしています。しかしこれらの手法は、解釈性の欠如とoverfitting問題による異なる生成手法間での一般化の低さという2つの重大な課題を抱えています。人間の顔と物理的世界との相互作用を表現する上でのGAN生成モデルの不備を明らかにすることで、生成物を検出するなどして改善はされています。一例として、生成された2つの目の間の角膜鏡面ハイライトの不一致を利用することが提案されたりしています。しかし提案手法は、光源や反射板が両目で見え、目が光源や反射板から離れているという厳密なポートレート設定の下ではこのような手法は使えません。これらの限界を解消し、よりロバストなモデルを探求するために、瞳孔形状に基づいた新しい物理的手法を提案しています。
手法
手法はシンプルです。下図のような瞳孔形状のアーチファクトを検出し、GANで生成された顔を判断するために、まず両眼の瞳孔マスクを自動的に抽出し、それが楕円形であるかどうかを評価する手法です。
そのために瞳孔の切り出し手法とかも手法としては含まれていますが、今回は手法の大部分を省きます。
実験
データセット
実際の人間の顔の画像はFlickrFaces-HQ (FFHQ) datasetを使用し、GANで生成された人間の顔はStyleGAN22で作成されたものを使用します。解像度1024×1024の画像を各クラス1000枚ずつ用意しています。
結果
実在する人間の顔とGANで生成された人間の顔の瞳の解析結果の例を下図に示します。
実在する人間の瞳は強い楕円形をしており、それが高く反映されていることがわかります。
BIoUスコア
予測された瞳孔マスクと楕円形にフィットした瞳孔マスクの間で高くなっています。しかし、不規則な形状の瞳孔のアーチファクトはBIoUスコアを著しく低下させます。また、実顔とGANで生成した顔の瞳孔のBIoUスコアの分布を下図に示します。両者の分布は明確に分かれており、不規則な瞳の形状が、実顔とGAN生成顔を区別する有効な手段であることがわかります。
制限
本手法にはいくつかの制限もあります。GANで生成された顔を検出するために、瞳孔の不規則なジオメトリ形状を使用しています。これは、瞳孔や虹彩の領域に病気等がある場合はうまくいきません。さらに、瞳孔のオクルージョンや瞳孔のセグメンテーションの失敗も、誤った予測につながる可能性があります。すなわち、綺麗に瞳孔が取れていることが前提です。
まとめ
GANで生成した顔を、瞳孔の不規則な形状で判断することができることを提案しています。今後は、GANで生成された顔の2つの瞳の間にある、異なる幾何学的形状や、2つの目の瞳の相対的な位置の違いなど、他のタイプの不整合についても検討していきます。まだまだ判断するのに有効な幾何学的な特徴がありますので、さらに簡便に検出する方法が提案されると思います。
GANの技術発展により、人には見分けがつけにくい画像が生成されていくと思います。その技術の悪用を考えると、必ずこういった技術も必要になるので、今後も注目していきたいです。
この記事に関するカテゴリー
