超解像の未来はどうなる？2019年のサマリ論文を追ってみた

3つの要点
✔️ Artifact除去を想定した超解像の研究も進んでおり、モデルの改良に伴い画像復元の品質が大きく向上
✔️ SRCNNが有名でそこから多くの改善モデルが派生した
✔️ 評価方法も多く検討されている

Deep Learning for Single Image Super-Resolution: A Brief Review
written by Wenming Yang, Xuechen Zhang, Yapeng Tian, Wei Wang, Jing-Hao Xue
(Submitted on 9 Aug 2018 (v1), last revised 12 Jul 2019 (this version, v3))
Comments: Published by IEEE Transactions on Multimedia (TMM)
Subjects: Computer Vision and Pattern Recognition (cs.CV)

TecoGAN をはじめ、超解像技術は今なおもディープラーニングの発展と共に革新が続いています。果たして超解像技術はどのように進化してきたのか？今回は1枚の入力画像からより高解像度の画像を推論する、単眼超解像(SISR: Single Image Super Resolution)に限定して、執筆時時点で最新と思われる2019年5月のサマリ論文を追ってみました。

画像の解像度を上げる手段として、Bicubic補間(Bicubic Interpolartion)やLanczosリサンプリング(Lanczos Resampling)といった補間ベースの計算手法(Interpolation-based SISR methods)が古くから用いられており、計算が高速ではあるものの、特に拡大率が高い場合に正確性が欠けるという問題がありました。この課題を克服するため、近年では学習ベースの手法(Learning-based SISR methods)が盛んに研究されています。

図1 学習ベースの単眼超解像の概略図

図1は単眼超解像における機械学習の概略図です。教師データとして、品質を落とした画像と、元画像の対を与えますが、品質を落とす要因として、ダウンサンプリング(Down Sampling)による解像度の低下だけではなく、ブラー(Blur)やノイズ(Noise)が示されている点に注目です。実際の撮影ではどうしても起こりうる、手ブレやピンボケ、また暗所の撮影におけるカメラの高感度ノイズといったアーティファクト(Artifact)は、解像度そのものに変化はなくとも、実質的には解像度低下と同様の品質低下を起こしています。近年では、こうしたArtifactの除去を最初から想定した超解像の研究も進んでおり、モデルの改良に伴い画像復元の品質が大きく向上することがわかっています。

Takemurashintaro