超分数据对构建 - yubo105139/paper GitHub Wiki
A Single Frame and Multi-Frame Joint Network for 360-degree Panorama Video Super-Resolution
提供了自制数据集：Then considering the limitationof computing resources, we downsample each video with scalefactor 2 to resolution ranging from 2,048×1024 to 720×360 using the bicubic interpolation algorithm as the ground truth.Then we further downsample the ground truth videos withscale factor 4 using the same interpolation algorithm to obtainthe corresponding LR videos.
bicubic interpolation algorithm :双三次插值算法
https://blog.csdn.net/u010555688/article/details/24352343
https://baike.baidu.com/item/%E5%8F%8C%E4%B8%89%E6%AC%A1%E6%8F%92%E5%80%BC/11055947?fr=aladdin
它能比占主导地位的双线性滤波算法保留更好的细节质量。
４倍下采样
论文链接：https://arxiv.org/abs/2008.10320
通过变焦处理
１、人们开始通过长远焦或者远近拍摄来构建真实的超分数据，即退化模型不再是通过下采样和上采样来构建数据集或者人为进行模糊。
２、人们不再基于RGB进行单帧超分，而选择RAW数据进行超分，比较Raw数据包含更多数据信息。
- Zoom to Learn, Learn to Zoom CVPR2019
是通过RGB反采样并添加噪声合成低分辨率的原始传感数据。问题是这个噪声没法完全建模。其原因，传感器的噪声来源多种多样，表现为色彩的串扰以及靠近传感器表面的微几何和微光学效应。但是我们发现，一个基于合成传感器数据的模型比使用8位RGB数据的模型更有效。基于真实原始传感器数据训练的模型性能则最佳。
论文链接：https://arxiv.org/abs/1803.06641
其他资料：
https://blog.csdn.net/shwan_ma/article/details/89342020
https://blog.csdn.net/weixin_37993251/article/details/88932405
- Camera Lens Super-Resolution CVPR2019
该方法通过的长远焦距对大场景下对小物体进行提取，使得该物体具有不同分辨率。以构建HR 和LR图像对。
数据采集：
1 单反：变焦镜头，防止失焦模糊，作者并没有采集实际场景。作者为了训练城市场景数据，将不同的城市印在明信片上，然后通过拍摄明信片来完成数据采集。
焦距：Nikon D5500焦距从18mm到55mm, 我们将在55mm焦距下捕获的图像定义为HR地面真实值，将在18mm焦距下捕获的图像定义为LR观测值。
噪声：为了减轻噪声的影响，将ISO值设置为最低。
白平衡和孔径大小是固定的。
2 手机：安装在装有固定焦距透镜的平移台上。
一般的智能手机相机都配备了基本镜头，焦距不会改变。
论文链接：https://arxiv.org/abs/1904.03378
资料链接：
https://blog.csdn.net/leviopku/article/details/93600032
- Toward Real-World Single Image Super-Resolution: A New Benchmark and A New Model
该方法通过两台全画幅数码单反相机（佳能5D3和尼康D810）捕获图像以进行数据收集，佳能5D3的分辨率为5760×3840，尼康的分辨率为D810为7360×4912。
对于每个场景，本文使用四种焦距拍摄照片：105mm，50mm，35mm和28mm。 以最大焦距拍摄的图像用于生成真实的HR图像，以其他三个焦距拍摄的图像用于生成LR图像。 为了确保数据集的通用性，我们在室内和室外环境中拍照。 考虑到超分辨率的主要目的是恢复或增强图像细节，因此首选具有丰富纹理的场景。 对于每个场景，我们首先以105mm焦距捕获图像，然后手动减小焦距以拍摄三个缩小的版本。 捕获了234个场景，并且两个摄像机之间没有重叠的场景。本文数据集总共有595个HR和LR图像对。
论文链接：https://arxiv.org/abs/1904.00523
资料：https://blog.csdn.net/Janice_Fj/article/details/105294650
- Handheld Multi-Frame Super-Resolution 2019
一种多帧超分辨率算法，它通过合并一组原始Raw图像来代替摄像机管道中的去马赛克操作。
论文链接：https://arxiv.org/abs/1905.03277
资料：
https://blog.csdn.net/zbwgycm/article/details/100600701
- NTIRE 2019 Challenge on Real Image Super-Resolution: Methods and Results
之前大量的SISR方法主要是在模拟数据集上进行评估，仅仅采用简单和均匀的退化方式，而真实场景中LR图像退化方式要复杂得多，因此这些算法很难推广到在真实的实际应用上。2019年的NTIRE在超分辨率上主要针对 现实场景下未知退化因子的单图像超分辨率 ，称为真实图像超分辨率（ Real Image Super-Resolution）。NTIRE2019超分上仅有一个赛道。
- Track：Real-world SR 在相同场景下，通过调整单反相机的焦距，在长焦距下获得高分辨率图像，在短焦距下获得对应的低分辨率图像。图像的训练集、验证集和测试集的所有图像的光学退化过程是相同的。 缩放因子和退化因子均是未知的 。
- 数据集RealSR ： 参与者可获得100个在不同的室内和室外环境中获得的真实世界的低分辨率和高分辨率图像对。还执行了复杂的图像配准操作，以生成相同内容的HR和LR对。RealSR数据集中的每个图像的像素分辨率不小于1000×1000。这些图像是用高端单反相机拍摄的。 [TOC] 冠军方案：https://blog.csdn.net/qq_36338830/article/details/103693098
论文链接：https://scholarworks.unist.ac.kr/handle/201301/33671
https://blog.csdn.net/ZHANG2012LIANG/article/details/95000362
Real-World Super-Resolution via Kernel Estimation and Noise Injection
统计模糊核与真实噪声分布并用于制作训练数据对。
https://bbs.cvmart.net/articles/2708/
总结：
一般的超分任务的LR图像都是通过双三次插值进行下采样的，这样对真实场景下的传感器噪声，以及真实场景的外部环境影响是无法模拟的。因此如何得到具有真实噪声且具有环境因素的LR图像是解决工业超分任务的一个关键因素。由此，通过文献查阅，一部分方法是采用模型的方法去模拟真实噪声，以达到工业场景的匹配。另一些方法则采用对采集数据的摄影设备进行变焦处理，已得到LR和HR影像，==但是这里却存在对齐问题==。