低解像度ビデオもすぐに高解像度に変換できる超解像アルゴリズムTecoGANがすごい

3つの要点
✔️ 低解像から高解像へ変換
✔️ 時間的に一貫したフレームを生成するために双方向損失関数を採用
✔️ 超解像度へ変換するTecoGANを提案

Learning Temporal Coherence via Self-Supervision for GAN-based Video Generation
Temporally Coherent GANs for Video Super-Resolution (TecoGAN) 
written by Mengyu Chu, You Xie, Jonas Mayer, Laura Leal-Taixé, Nils Thuerey
(Submitted on 23 Nov 2018 (v1), last revised 21 May 2020 (this version, v4))
Comments: Published by arXiv.  Project page: this https URL, code link: this https URL
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)

はじめに

画像超解像技術は、既存の画像情報から欠けている画像詳細を再構成することによって、低解像度画像から高解像度画像を生成するプロセスを指します。

画像と比べて、ビデオ超解像技術はより複雑です。詳細なフレーム画像生成を必要とするだけでなく、さらに、画像間の動きの一貫性も維持する必要があるからです。

新しく発表された論文では、これらを考慮したビデオ超解像のための新しいモデル「TecoGAN」が提案されています。

次のアニメーションはTecoGANを使用して生成されたものです。細部まで綺麗に生成することができ、さらに時間的にも一致しています。通常ビデオはズームすると画質が劣化しますが、TecoGANを用いることで画質を落とさずに拡大することができます

ビデオの場合、任意の超解像フレームを生成するだけではなく、より長いシーケンスにわたって動きが一致している必要があります。
論文では、空間的な高周波の詳細と時間的な関係の両方を考慮するGANに基づいたアイデアを採用し、フレーム間の動きを一致させています。

• 
• 
• 

この記事に関するカテゴリー

• 論文
• 機械学習
• 深層学習
• GAN（敵対的生成ネットワーク）