最も簡単に画像のスタイルを変換可能！

3つの要点
✔️ GANの層を入れ替えるだけの簡単なスタイル融合手法
✔️ StyleGANの理論を応用
✔️ さらなら複雑な融合の可能性

Resolution Dependent GAN Interpolation for Controllable Image Synthesis Between Domains
written by Justin N. M. Pinkney, Doron Adler
(Submitted on 11 Oct 2020 (v1), last revised 20 Oct 2020 (this version, v2))
Comments: Accepted at NeurIPS 2020 Workshop
Subjects: Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV)
Paper Official Code Demo 

はじめに

皆さんもご存知の通り、GANは学習データからリアルな画像を生成することができます。しかし、基本的には学習データの分布を学習するため、絵描きのような完全に創造的なクリエイティブな目的のためにGANを使用することは本質的に難しいです。

そこで芸術的な画像を生成できるようにコントロールすることを目的とした研究分野も存在します。今回は、全く新しい画像を生成し、出力をある程度制御しながら、もう少しクリエイティブな画像を生成できる手法をご紹介します。

異なるモデルからのパラメータ間を補間し、特定のレイヤー解像度に依存して行うことで、異なるジェネレーターからの特徴を融合することができます。現在の制御手法の中でも、トップクラスに簡単な技術でそれを実現しているところも今回紹介する技術の特徴です。

手法

概要としては3つの学習を行うのみです。

1. GANをbaseデータセットで学習
2. 1で学習したGANをtransferデータセットで転移学習
3. 1.2で作成されたGANの層を交換(Layer Swapping)したGANを作成

運営

AI-SCHOLARは最新のAIに関する論文を分かりやすく紹介するAI論文紹介メディアです。 日本の科学力の低下が叫ばれ政府による研究予算の抑制が続く中、 AIが担う役割はその技術革新にとどまりません。 AIの技術やその応用あるいはそれを支える基礎科学の文脈などを世に伝えることは重要なアウトリーチであり、科学に対する社会の理解や印象を大きく左右しうるものです。 AI-SCHOLARは、AIに対する一般の方々と専門家の間に存在する理解の乖離を少しでもなくし、一般社会にAIが溶け込んでいく姿の一助を担うべく作成されています。 それに加え、これまで皆様が築き上げてきた学習や研究の経験がメディアとして具現化され社会に表現されることのお手伝いができればと考えています。 先端的で難解な事柄を難しい言葉のまま説明することは誰にでもできますが、AI-SCHOLARはメディアとして情報を伝える上で、語彙やデザインを駆使して「読みやすさ」「わかりやすさ」を追求しています。