比較できない空間における生成モデルの学習

3つの要点
✔️ 比較不可能な空間、異なる次元や空間を超えて学習できる新しい生成モデル
✔️ GWに基づきペアごとの空間内距離を計算し、それらの距離を空間全体で比較するという方法
✔️ 次元縮小タスクに応用可能

Learning Generative Models across Incomparable Spaces
written by Charlotte Bunne, David Alvarez-Melis, Andreas Krause, Stefanie Jegelka
(Submitted on 14 May 2019 (v1), last revised 15 May 2019 (this version, v2))
Comments: Published by ICML
Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML)

はじめに

この論文では、参照分布とは異なる空間における分布を学習できる生成モデルを提案しています。データ空間と生成空間の分離、または異なる次元表現を越えた学習を可能にしています。

GANの仕組み

最初にちょっとだけGANの仕組みを紹介します。

GANでは、直接的な「教師データ」となるデータ（画像）はなく、その代わりに学習用のデータの特徴を示す「潜在変数」を使用します。この潜在変数が生成モデルから画像を生成するための「種」となっています。

ただし、学習用画像から抽出した潜在変数をそのまま生成モデルに与えるのではなく、学習用画像の潜在変数から得られる確率密度分布と、生成した画像から得た確率密度分布を比較します。その距離が近ければ「似た画像」という判定となり、これら距離を近づけ、識別器をだませるように学習を繰り返します。生成モデルの学習は、通常、ターゲット分布と現在の推定値との間の統計的な相違に依存しているのです。

このように、古典的な計算方法は、同じ空間内（潜在空間）にある分布を比較し、同じ空間での2つのポイント間の距離を計算し、参照分布サンプルと区別がつかないサンプルを生成することを目的とします。つまり、データ空間Xとジェネレータ（生成）空間Yが異なる場合、これらは当てはまりません。分布が定義されている空間は同じでなければ比較できないのです。

ただし、場合によっては、他の要素（スタイル、向き、寸法など）を変更しながら、いくつかの側面（クラスタや多様体構造など）のみを学習したい場合があります。この研究では、このような比較できない空間を超えて生成モデルを学習するためのアプローチとしてGW GANを提案しています。

この記事に関するカテゴリー

• 論文
• 機械学習
• 深層学習
• GAN（敵対的生成ネットワーク）