天空中的城堡！自动转换离线视频中的空域，精度高!
三个要点
✔️ 一个新的框架，用于实时合成天空区域，风格自选
✔️ 不使用陀螺仪等惯性测量传感器，完全可以只用图像信息进行合成。
✔️ 适用于在线和离线申请
Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos
written by Zhengxia Zou
(Submitted on 22 Oct 2020)
Comments: Project website: this https URL
Subjects: Computer Vision and Pattern Recognition (cs.CV)
概况
天空对图像和视频有着巨大的影响。
举个例子，很多人可能会觉得，如果去热带海洋拍摄，而又是阴天或者下雨，那就不是很吸引人了。如果是热带海，很多人可能会觉得晴空万里、阳光明媚的天空和海洋很有吸引力。另一方面，你可能想在正常的晴天或阴天拍摄暴风雨中的野生气氛的图像和视频。
在本文中，他们提出了一个新的框架，用另一种风格的图像实时替换天空区域，如下图所示。例如，它也被应用于天气转换。
这段视频示例显示，在晴朗的蓝天中，一座城堡，或满月转化为美丽的夜空，或暴风雨中的天空，雷电袭来。
这些技术经常被用于创意广告和电影制作中。过去几年计算机视觉和增强现实(AR)的发展，使得在美图Pic和Photoshop等流行编辑软件中编辑天空成为可能。
但是，这些都需要一个人去编辑每一帧画面，调整设置，以及。这需要技巧和时间。所以，在自动化方面还有待提高。特别是在电影制作中，为了在很多场景中营造出独特的世界观，比如空间，在剪辑镜头时要下很多功夫。
另一方面，也有一些可以让你实时互动编辑天空。例如，一款名为StarWalk2的智能手机应用，可以让你举着相机仰望天空，并在你举着相机的方向上实时绘制行星、星座和其他天体。
(来源： Google Play)
此外，2020年越南国立大学宣布的Fakeye，可以实时合成天空中的AR物体。
（出典。Fakeye.Sky Augmentation with Real-time Sky Segmentation and Texture Blending）。天空增强与实时天空分割和纹理混合）。
前面提到的图像编辑软件不同，这两款软件可以让你实时编辑天空的样子，而不用编辑每一帧画面。
但是，这些技术需要相机内置陀螺仪等惯性测量传感器，受到硬件的限制。因此，它们不能用于无法进行惯性测量或离线情况下的设备。因此，在本文中，他们提出了一个更有用的框架，使我们能够在没有任何传感器信息的情况下，在一个完整的视频基础上实时编辑天空。
要阅读更多。
你需要在AI-SCHOLAR注册。
或
与本文相关的类别
