可以实现高倍率超分辨率! PULSE，一种全新的超分辨率方法
三个要点
✔️自监督方法消除了对配对图像的需求
✔️️搜索区域的限制有利于搜索并获得生成图像的有效性。
✔️生成的高分辨率图像，在降维后更接近你输入的实际低分辨率图像，而不是简单的高分辨率图像。
PULSE：通过生成模型的潜在空间探索进行自我监督的照片升频。
笔者 Sachit Menon, Alexandru Damian, 胡世佳, Nikhil Ravi, 辛西娅-鲁丁
(2020年3月8日提交(v1)，2020年7月20日最后一次修订(本版，v3))
评论发布者：CVPR2020
学科：计算机视觉和模式识别（cs.CV）；机器学习（cs.LG）；图像和视频处理（ess.IV）。计算机视觉和模式识别(cs.CV)；机器学习(cs.LG)；图像和视频处理(ess.IV)
介绍：
从单一的低分辨率图像到超分辨率是通过多种方式进行的。在以往的研究中，有一点基本没有改变，那就是由低分辨率创造高分辨率。这似乎很正常，因为任务的性质是超分辨率。但有一个很大的挑战，这就是作者在这项研究中表明的解决关键。
超分辨率技术的挑战
如果从细节上看，有很多挑战，但最大的挑战是，低分辨率和高分辨率图像的组合被认为是一个。说得更清楚一点，最大的挑战是低分辨率（low resolution）到高分辨率（high resolution）被假设为下图1中的单代路线。
图1.从低分辨率到高分辨率的一般流程
事实上，并不存在一个低分辨率到高分辨率的图像，而是可以用一组高分辨率的图像来匹配一组高分辨率的图像（图2）。很多组高分辨率的图像与低分辨率的图像相匹配。所以传统的方法虽然提高了视觉质量，但生成的图像无效，不真实。
图2.实际高分辨率组与低分辨率之间的关系。
传统的监督学习超分辨率算法通常被训练成模型，使生成的高分辨率图像与对应的高分辨率图像之间的逐像素均方误差(MSE)最小化，即对应的答案。以下是一些符合常规适用定义的参考文献： 1.
然而，这些方法往往忽略了纹理等高分辨率图像的"图像现实"。这并不奇怪，因为图像中复杂的图案和纹理区域有很大的方差，而MSE对其进行了平滑处理，所以图像难免会出现不真实的情况。但是，有些研究领域虽然是基于MSE，但也在研究改善现实的算法，所以我们不应该宣布他们是错误的。但是，即使我们使用现实增强算法，当它基于MSE时，所要解决的问题也会被拉向自然图像表象（高分辨率图像的子集）的方向，所以它比简单的MSE方法更现实，但其有效性根本无法保证。
写了很多，我得出了一个结论。
低分辨率图像中有多个高分辨率图像；
使用MSE的问题是，它生成的是一组高分辨率图像的平均图像，这可能是解决方案。
所以，本文提出的是，当输入低分辨率的图像时，它将从可能生成的解决方案中生成一个真实的图像。这是作者的1分钟总结视频，我在这里发一下。
要阅读更多。
你需要在AI-SCHOLAR注册。
或
与本文相关的类别
