最も簡単に画像のスタイルを変換可能！

3つの要点
✔️ GANの層を入れ替えるだけの簡単なスタイル融合手法
✔️ StyleGANの理論を応用
✔️ さらなら複雑な融合の可能性

Resolution Dependent GAN Interpolation for Controllable Image Synthesis Between Domains
written by Justin N. M. Pinkney, Doron Adler
(Submitted on 11 Oct 2020 (v1), last revised 20 Oct 2020 (this version, v2))
Comments: Accepted at NeurIPS 2020 Workshop
Subjects: Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV)
Paper Official Code Demo 

はじめに

皆さんもご存知の通り、GANは学習データからリアルな画像を生成することができます。しかし、基本的には学習データの分布を学習するため、絵描きのような完全に創造的なクリエイティブな目的のためにGANを使用することは本質的に難しいです。

そこで芸術的な画像を生成できるようにコントロールすることを目的とした研究分野も存在します。今回は、全く新しい画像を生成し、出力をある程度制御しながら、もう少しクリエイティブな画像を生成できる手法をご紹介します。

異なるモデルからのパラメータ間を補間し、特定のレイヤー解像度に依存して行うことで、異なるジェネレーターからの特徴を融合することができます。現在の制御手法の中でも、トップクラスに簡単な技術でそれを実現しているところも今回紹介する技術の特徴です。

手法

概要としては3つの学習を行うのみです。

1. GANをbaseデータセットで学習
2. 1で学習したGANをtransferデータセットで転移学習
3. 1.2で作成されたGANの層を交換(Layer Swapping)したGANを作成

• 
• 
• 

この記事に関するカテゴリー

• 画像認識
• GAN（敵対的生成ネットワーク）
• image2image