細分化された階層的な画像生成と画像分類を可能にするFineGAN

この論文では、細分化されたカテゴリー画像を階層的に生成するFineGANを提案しています。さらにFineGANの学習された機能を使用して、教師なしで画像を細かいカテゴリーに分類するという課題にも取り組んでいます。

【論文】FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery

上の図を考えてみましょう。

もし、ある画像をグループ分けするように指示されたとすると、鳥AとBは、まったく異なる背景と形をしているので、CとDのグループに分けるべきではないことが簡単にわかります。

でも、CとDはどうでしょうか。同じ背景、形、粗い色を共有します。しかし、よく見ると、Cのくちばしは黄色で、尾には大きな白い斑点があり、Dのくちばしは黒で、尾には細い白い帯があるので、CとDも一緒にしてはいけません。

本当のカテゴリは、
A:バローのゴールデンアイ
B:カリフォルニアのカモメ
C:黄色の鳩
D:黒の鳩です

細分化されたクラスタリングを行うには、背景、形状、外観(カラー/テクスチャ)を分離し、階層的に分ける必要があることが分かります。

FineGAN


図1:FineGANは、背景、オブジェクトの形状(親)、およびオブジェクトの外観(子)を絡み合わせて、きめの細かい注釈なしで、きめの細かいオブジェクトを階層的に生成します。

この研究では、このような細分化されたオブジェクトカテゴリーを手動の注釈なしに検出するモデルを提案しています。

新しいアイデアとしては、細分化されたカテゴリーを持つ画像を階層的に生成する生成モデルが、画像分類のタスクにも有用であるという仮説を立て、画像の背景・物体形状・テクスチャなどの階層構造を教師なしで分離し、細かいカテゴリ画像を階層的に生成する「FineGAN」を提案していることです。

この記事をシェアする