最新AI論文をキャッチアップ

GANによって生成された顔は、瞳孔で判断できる

GANによって生成された顔は、瞳孔で判断できる

GAN(敵対的生成ネットワーク)

3つの要点
✔️ 高品質なStyleGANで生成された顔は、実際の人間の瞳孔とは異なることが判明
✔️ 不規則な瞳孔形状を手がかりとしてGAN生成顔を検出することができる、シンプルかつ効果的な手法を提案
✔️ 人間がGAN生成顔を視覚的に識別するための良い手がかりとなる

Eyes Tell All: Irregular Pupil Shapes Reveal GAN-generated Faces
written by Hui GuoShu HuXin WangMing-Ching ChangSiwei Lyu
(Submitted on 1 Sep 2021)
Comments: Published on arxiv.

Subjects: Computer Vision and Pattern Recognition (cs.CV)

code:  

 本記事で使用している画像は論文中のもの、またはそれを参考に作成したものを使用しております。 

はじめに

GANの発展により、見分けがつかないほどの顔画像を生成することが可能となってきたことは皆さんもご存知だと思います。こういった技術発展が進む中で、生成された顔をプロフィール画像として使用したソーシャルメディアの偽アカウントの登場など、悪い面もあります。そのため、GANの発展とともにDeep Learningモデルを用いた生成された顔画像検出アプローチが開発されるなどしています。しかしこれらの手法は、解釈性の欠如とoverfitting問題による異なる生成手法間での一般化の低さという2つの重大な課題を抱えています。人間の顔と物理的世界との相互作用を表現する上でのGAN生成モデルの不備を明らかにすることで、生成物を検出するなどして改善はされています。一例として、生成された2つの目の間の角膜鏡面ハイライトの不一致を利用することが提案されたりしています。しかし提案手法は、光源や反射板が両目で見え、目が光源や反射板から離れているという厳密なポートレート設定の下ではこのような手法は使えません。これらの限界を解消し、よりロバストなモデルを探求するために、瞳孔形状に基づいた新しい物理的手法を提案しています。

手法

手法はシンプルです。下図のような瞳孔形状のアーチファクトを検出し、GANで生成された顔を判断するために、まず両眼の瞳孔マスクを自動的に抽出し、それが楕円形であるかどうかを評価する手法です。

そのために瞳孔の切り出し手法とかも手法としては含まれていますが、今回は手法の大部分を省きます。

実験

データセット

実際の人間の顔の画像はFlickrFaces-HQ (FFHQ) datasetを使用し、GANで生成された人間の顔はStyleGAN22で作成されたものを使用します。解像度1024×1024の画像を各クラス1000枚ずつ用意しています。

結果

実在する人間の顔とGANで生成された人間の顔の瞳の解析結果の例を下図に示します。

実在する人間の瞳は強い楕円形をしており、それが高く反映されていることがわかります。

BIoUスコア

予測された瞳孔マスクと楕円形にフィットした瞳孔マスクの間で高くなっています。しかし、不規則な形状の瞳孔のアーチファクトはBIoUスコアを著しく低下させます。また、実顔とGANで生成した顔の瞳孔のBIoUスコアの分布を下図に示します。両者の分布は明確に分かれており、不規則な瞳の形状が、実顔とGAN生成顔を区別する有効な手段であることがわかります。

制限

本手法にはいくつかの制限もあります。GANで生成された顔を検出するために、瞳孔の不規則なジオメトリ形状を使用しています。これは、瞳孔や虹彩の領域に病気等がある場合はうまくいきません。さらに、瞳孔のオクルージョンや瞳孔のセグメンテーションの失敗も、誤った予測につながる可能性があります。すなわち、綺麗に瞳孔が取れていることが前提です。

まとめ

GANで生成した顔を、瞳孔の不規則な形状で判断することができることを提案しています。今後は、GANで生成された顔の2つの瞳の間にある、異なる幾何学的形状や、2つの目の瞳の相対的な位置の違いなど、他のタイプの不整合についても検討していきます。まだまだ判断するのに有効な幾何学的な特徴がありますので、さらに簡便に検出する方法が提案されると思います。

GANの技術発展により、人には見分けがつけにくい画像が生成されていくと思います。その技術の悪用を考えると、必ずこういった技術も必要になるので、今後も注目していきたいです。

運営 avatar
AI-SCHOLARは最新のAIに関する論文を分かりやすく紹介するAI論文紹介メディアです。 日本の科学力の低下が叫ばれ政府による研究予算の抑制が続く中、 AIが担う役割はその技術革新にとどまりません。 AIの技術やその応用あるいはそれを支える基礎科学の文脈などを世に伝えることは重要なアウトリーチであり、科学に対する社会の理解や印象を大きく左右しうるものです。 AI-SCHOLARは、AIに対する一般の方々と専門家の間に存在する理解の乖離を少しでもなくし、一般社会にAIが溶け込んでいく姿の一助を担うべく作成されています。 それに加え、これまで皆様が築き上げてきた学習や研究の経験がメディアとして具現化され社会に表現されることのお手伝いができればと考えています。 先端的で難解な事柄を難しい言葉のまま説明することは誰にでもできますが、AI-SCHOLARはメディアとして情報を伝える上で、語彙やデザインを駆使して「読みやすさ」「わかりやすさ」を追求しています。

記事の内容等について改善箇所などございましたら、
お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。
どうぞよろしくお願いします。

お問い合わせする