高倍率な超解像度化が可能！全く新たな超解像手法PULSE

3つの要点
✔️ self-superviseな手法によってペア画像を必要としない
✔️ 探索領域を限定することで探索を容易にし、生成画像の妥当性を獲得
✔️ 単純な高解像度画像を生成するのではなく、ダウンスケールした際に実際に入力した低解像度画像に近くなるような高解像度画像を生成する

PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
written by Sachit Menon, Alexandru Damian, Shijia Hu, Nikhil Ravi, Cynthia Rudin
(Submitted on 8 Mar 2020 (v1), last revised 20 Jul 2020 (this version, v3))
Comments: Published by CVPR2020
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Image and Video Processing (eess.IV)

はじめに

単一の低解像度画像から高解像度化は色々な手法が行われていました。今までの研究でほとんど変わらなかったこととしては低解像度から高解像度を作成すると言った点です。これはタスクが元々高解像度化をするといったため普通にも見えます。しかし、これにはある大きな課題があり、そこを今回の著者たちは解決するための糸口を示した研究です。

高解像度化技術の課題

細かく見ていけば課題は多くありますが、最も大きな課題として低解像度画像から高解像度画像が1つの組み合わせとして仮定されていることです。もう少しわかりやすくいうと、下の図1で低解像度(Low Resolution)から高解像度(High Resolution)が1つの生成ルートで仮定されているところが課題です。

加藤