比較できない空間における生成モデルの学習

この論文では、参照分布とは異なる空間における分布を学習できる生成モデルを提案しています。データ空間と生成空間の分離、または異なる次元表現を越えた学習を可能にしています。

論文:Learning Generative Models across Incomparable Spaces 

GANの仕組み

最初にちょっとだけGANの仕組みを紹介します。

GANでは、直接的な「教師データ」となるデータ(画像)はなく、その代わりに学習用のデータの特徴を示す「潜在変数」を使用します。この潜在変数が生成モデルから画像を生成するための「種」となっています。

ただし、学習用画像から抽出した潜在変数をそのまま生成モデルに与えるのではなく、学習用画像の潜在変数から得られる確率密度分布と、生成した画像から得た確率密度分布を比較します。その距離が近ければ「似た画像」という判定となり、これら距離を近づけ、識別器をだませるように学習を繰り返します。生成モデルの学習は、通常、ターゲット分布と現在の推定値との間の統計的な相違に依存しているのです。

このように、古典的な計算方法は、同じ空間内(潜在空間)にある分布を比較し、同じ空間での2つのポイント間の距離を計算し、参照分布サンプルと区別がつかないサンプルを生成することを目的とします。つまり、データ空間Xとジェネレータ(生成)空間Yが異なる場合、これらは当てはまりません。分布が定義されている空間は同じでなければ比較できないのです。

ただし、場合によっては、他の要素(スタイル、向き、寸法など)を変更しながら、いくつかの側面(クラスタや多様体構造など)のみを学習したい場合があります。この研究では、このような比較できない空間を超えて生成モデルを学習するためのアプローチとしてGW GANを提案しています。

GW GAN

GWGANは、比較不可能な空間、異なる次元や空間を超えて学習できる新しい生成モデルです。

このアプローチの重要な要素はGromov‐Wasserstein(GW)距離と呼ばれる、比較できない地上空間での最適輸送距離を計算するという方法に基づいてます。ある物体Aをある場所からある場所に移動する最適な (一番楽な) 方法を求める時などに使われます。

論文では、2つの空間内の分布を直接比較する代わりに、GWに基づきペアごとの空間内距離を計算し、それらの距離を空間全体で比較するという方法をとっています。これによりモデリングの範囲が大幅に広がり、サンプル間の関係情報(基準のデータ)の多様体は保存されたまま、周囲寸法のような他の特性を変化させることが可能になります。

 

このアプローチにより、ジェネレータの柔軟性が増します。参照分布の基本構造を学習しながら、生成分布の表面特性を自由に変更でき、異なる領域と様相にわたって学習する能力を持つことができるのです。

結果として得られるモデルは、伝統的な(すなわち同じ空間の)GANモデルの形態を包含しつつ、もっと多くのことができるようになり、たとえば、(グラフからユークリッド空間まで)、次元が異なる空間やデータ型が異なるクラスタ構造でも学習ができます。

実験

論文では様々な実験によってこの方法の有用性を試しています。面白いと思った一部だけ紹介していきます。

(1)参照の次元とは異なる次元の空間で定義された分布を生成することができるか

図2

比較できない空間の最も単純な例は、次元性の異なるユークリッド空間です。この節では、GW GANが、参照空間とは異なる次元性の空間上に定義された分布を生成することを学習できるかどうかを調べています。より小さい次元空間とより高い次元空間への学習の両方向を考察しています。図2の通り、異なる次元性にもかかわらず、参照分布の大域的構造と相対距離をうまい具合に回復しています。

 

(2)データの多様な構造を空間内の距離から学習できるかどうか

図3

より複雑な構造を持つデータ(分布)を検討し、このモデルがサンプルの多様体構造を学習できるかどうかを試しています。

例として人気のある3次元S字型データセットを使用して、Floyd-Warshallアルゴリズム(Floyd、1962)を使用してサンプル間の距離を定義します。図3aを見ていただいたらわかる通り、空間内の距離から学習された生成分布がデータの多様体構造を正常に再現しています。二次元における三次元S曲線を再現でき、次元縮小タスクに適用できることがわかりました。

またこちらの実験では、MNISTの数字を学習し、追加の設計制約によってフォントスタイルを太字にすることを強制しています。位相幾何学情報を表面的な特性から切り離すことによって、参照分布(MNIST)の主要な特性を維持しながら、生成された分布に対して様式的な表現(この場合は太字)を強制することを可能にしています。

 

 

この記事をシェアする