天空の城！？動画内の空域をオフラインで高精度に自動変換！

3つの要点
✔️ 空の領域をリアルタイムで好きなスタイルに合成する新しいフレームワークを提案
✔️ ジャイロなど慣性計測センサーの情報は利用せずに、完全に画像情報のみで合成を実現
✔️ オンラインとオフラインの両方のアプリケーションに適用可能

Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos
written by Zhengxia Zou
(Submitted on 22 Oct 2020)
Comments: Project website: this https URL
Subjects: Computer Vision and Pattern Recognition (cs.CV)
   

概要

画像や動画のなかで空が与える影響は非常に大きいです。

例えば、南国の海に撮影に行ったのに、曇っていたり、雨が降っていれば、あまり魅力的ではないと思う人が多いのではないでしょうか。南国の海であれば、晴れて澄んだ空と海に魅力を感じる人が多いかもしれません。逆に、普通の晴れや曇りの日に、嵐の中でワイルドな雰囲気の画像や動画が撮りたいことがあるかもしれません。

この論文では、下図のように空の領域をリアルタイムに別のスタイルの画像に置き換える新しいフレームワークを提案しています。また、天気の変換などにも応用しています。

このサンプル動画では、晴れの青空に城を浮かべたり、満月が綺麗な夜空や雷が落ちる嵐の空に変換しています。

このような技術は広告クリエイティブや映画制作の現場でよく使われており、この数年の間のコンピュータビジョンや拡張現実（AR）の発展によって、MeituPicやPhotoshopなど人気の編集ソフトでも空の編集ができるようになりました。

しかし、これらはフレームごとに人が設定値を調整しながら編集する必要があり、スキルと時間が必要です。つまり、自動化と言う観点ではまだ改良の余地があります。特に映画制作では多くのシーンで宇宙など独特な世界観を出すために、膨大な労力をかけて映像を編集しています。

一方で、リアルタイムにインタラクティブに空を編集できるものもあります。例えば、StarWalk2というスマホアプリでは、空にカメラをかざすと、カメラをかざした方向にある惑星や星座、その他の天体をリアルタイムにマッピングすることができます。

（出典: Google Play）

また、ベトナム国家大学が2020年に発表したFakeyeでは、空にARオブジェクトをリアルタイムで合成することができます。

（出典: Fakeye: Sky Augmentation with Real-time Sky Segmentation and Texture Blending）

いずれも先ほどの画像編集ソフトとは異なり、フレームごとに編集することなく、そのままリアルタイムに空を編集することができます。

しかし、これらの技術を利用するためには、ジャイロセンサーのような慣性計測センサーを内蔵したカメラが必要であり、ハードウェアに制約があります。このため、慣性計測ができないデバイスやオフラインの状況下では、利用することができません。そこで、この論文では、センサー情報がなくても、完全な動画ベースでリアルタイムに空を編集できる、より有用性の高いフレームワークを提案しています。

この記事に関するカテゴリー

• 深層学習
• 画像認識/画像解析
• image2image
• Optical Flow