GANなしで高品質な画像生成を実現！一枚の画像から学習するAugurOneとは

Image generation 2020年05月04日

3つの要点
✔️ 一枚の画像のみで学習
✔️ GANを用いずに高品質な画像生成を実現
✔️ 低解像度から徐々に高解像度にするネットワークをEnd-to-Endで学習

Training End-to-end Single Image Generators without GANs
written by Yael Vinker,Nir Zabari,Yedid Hoshen
(Submitted on 7 Apr 2020)
Comments: Published by arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Image and Video Processing (eess.IV); Machine Learning (stat.ML)

概要

本論文では一枚の画像のみで学習を行い、その画像に似た画像を生成するモデルAugurOneを紹介しています。一枚の画像で学習すると言われても、いまいちイメージが掴めないと思いますので、さっそく生成結果を見てみましょう。

図１はAugurOneによる線画から写真への変換です。図１左のTraining Edge と Training Imageで学習を行います。そしてテスト時に与えられた線画（図１のInput Edge）を写真(図１のOutput Image)へと変換しています。テスト時には学習時と構図が異なる線画を入力していますが、モデルはその線画を元に新たな画像を生成しています。このように１つの画像ペアからモデルが様々な特徴を学習することで新たな画像の生成を可能にしています。

図１はヒトデの例ですが、テスト時には現実には存在しない形のヒトデが生成されていて面白いですね。それでは次の章でどのようにして学習をしているのか見てみましょう。