011 - 文章阅读笔记：图像处理：超分辨率浅谈 - 知乎 - 心流永恒
本文最后更新于：3 个月前
链接：
[√] 概念
图像超分辨率，简称超分，通常是指分辨率的放大，比如说512x512的图片放大到1024x1024的图片。
常常用zoom level，scale，放大倍数来形容超分前和超分后图像大小的关系。它指的是图像的长宽分别放大了多少倍。在上一条中，放大倍数为2。
要注意，是长和宽分别放大了2倍，而图像的面积是放大了4倍。在应用中，算法的运行时间往往和输入图像面积成正比，即和放大倍数n的平方成正比。
常有人将图像超分辨率和图像质量增强混为一谈。简单来说, 超分, 首先是分辨率的增加, 否则只是图像质量增强, 例如sharpen, denoise, tonemapping等, 都能带来图像感官上的增强.
alec：
- 超分，首先是分辨率的增加，其次才是感官上的增强。
[√] 问题定义
通俗地说, 单帧图像超分就是无中生有的过程. 理论地说, 超分是一个ill-posed problem, 是没有稳定和唯一解的. 2x超分中, 平均每1个像素要多出3个像素, 如下图:
alec：
- 超分是一个无中生有的过程
如何求多出来的像素的值, 就是超分辨率的任务. 我们追求超分能增加图像细节, 也要清楚地认识到, 这个细节是假的, 模型不具备恢复真实细节的能力。
[√] 超分辨率的（商业）价值
首先，它有一个fancy的名字. 超分辨率, 听上去比图像增强, 图像锐化, HDR, 都要高大上. 有时候, 名字就是那么重要, 兰蔻在中国为什么卖的好, 雷克萨斯为啥比讴歌卖的好，多多少少有名字的影响。所以超分这个项目，啪一下搬出来，能忽悠不懂的人。
第二，超分辨率，这个功能，吸引人啊。一直以来，大众对于图像质量的最直接的印象就是分辨率越高，越牛逼。手机拍照的像素一直是商家比拼重点。超分辨率，想一想都觉得吸引人。无中生有，这种神奇的事，不期待吗？
第三，在细化的场景上，超分辨率带来的效果是值得期待的。场景具备明显的特征，比如动漫图片的超分，人物线条感强，超分的任务比较单一，保留边缘即可，不需要恢复细节。如果不伴随着分辨率的增加，这就是一个锐化的过程（图像增强），让边缘的过度更快。所以理解超分辨率，首先要理解它的实质是分辨率的增加，我们希望用图像增强的方向（锐化，去噪等）去指导生成这些增加的分辨率。
[√] 超分辨率的天生缺陷
在问题定义中聊到，超分本身是一个ill-posed problem，没有稳定且唯一的解。如果我们期待他能恢复真实图像细节，这种期待是不符合理论的。数码变焦做不到光学变焦的效果，因为光学变焦从源头上得到了更多的细节，而不是后期的“无中生有”。
alec：
- 超分本身就是一个病态的问题，是无中生有的过程，没有稳定且唯一的解。
有些场景对于图像的真实性要求非常严格，在这些领域应用超分就需要特别小心。比如医学影像的超分辨率，真用AI去“无中生有”，可能会带来非常严重的后果。这种情况下超分辩率的任务简单的就是分辨率的增加，用bilinear这样的保守方法更合适。这种场景中的重点仍在于图像增强算法的应用，比如边缘的提取，亮度，对比度的改变，使得医生用户看图找重点更轻松。