RealSR_CVPR2020_NTIRErank1 - yubo105139/paper GitHub Wiki

(RealSR2020,NTIRE)Real-World Super-Resolution via Kernel Estimation and Noise Injection

贡献点:

通过分析真实图片中的模糊和噪声，模拟真实图片的退化过程. 提出降质框架, 降质核获取和噪声注入方法.

  • 真实世界超分的关键问题在于如何引入精确的降质模型以确保生成的LR图像与原始图像具有同域属性(比如噪声分布、模糊等)

  • 在实际场景，HR图像、模糊核和噪声均未知的。为更精确的估计降质模型，我们需要从图像中估计模糊核与噪声。一旦得到这些模糊核与噪声，我们就可以利用其构建一个降质池用于对清晰HR图像降质生成LR图像。

存在的问题:

收集的模糊核和噪声并不完全, clean-up图作为hr图缺失高频信息,realsr生成器对高频信息的学习是不足的，realSR生成的HR图像中含有伪影、人脸马赛克

整个设计框架

第一阶段是从真实数据中估计退化并生成逼真的 LR 图像。 第二阶段是根据构建的数据训练SR模型。

主要在其得到lr的过程. 模拟了原图的退化. 从而构造了lr,hr图像对.

image-20210915145023185

构造lr,hr图像对过程

算法流程:

image-20210915145440339

  • **clean_up: **真实图经过 clean_up(双三次下采样操作)得到 hr图.

    为得到更多的HR图像，首先从源域生成无噪图像，作者按照一定缩放因子经过bicubic下采样对源域真实图像进行处理，它可以移除噪声同时确保图像的锐利度, 将这些图作为为clean hr images

  • degradation: hr图经过,degradation pool 退化 得到 lr.

    将经双三次插值得到的图像视作HR，然后从构建的降质池(degradation pool )中随机选择模糊核,得到下采样的图.

image-20210915145527938

  • noise inject:为使最终得到的LR图像与源域中的图像具有相似的噪声分布，作者提出直接从源域 数据中收集噪声。作者指定了这样一个规则：如果某个块的方差小于设定的阈值，则将其纳入到降质池中

  • sr model: lr 生成sr 图, 与hr 进行损失计算, 包含 L_adv , L_per, L1.

    该方法只需真实图像，将真实图像clean-up生成HR图像，加模糊核和噪声生成对应的LR图像，再基于成对的LR-HR图像进行超分训练；

构建降质池

被估计的核约束:

image-20210915145901846

噪声注入

对下采样的图注入噪声生成更真实的lr图,下采样导致高频信息丢失, 噪声分布也发生改变. 为还原原图的噪声分布.从原图的patch中收集噪声.通过以下规则分离噪声和内容:

image-20210915145820086

patch 鉴别器

使用具有固定感受野的全卷积结构的patch判别器代替VGG-128.

VGG128限制输入尺寸大小, 网络结构深且复杂, 关注全局信息忽略了局部特征.

实验

消融实验证明. noise kernel patch discriminate 组件的必要性.

PSNR和SSIM是常用的图像恢复评价指标。 这两个指标更关注图像的保真度而不是视觉质量。 相比之下，LPIPS 更关注图像的视觉特征是否相似。

该模型在LPIPS 效果较好.即视觉效果好, 在 PSNR 上低于 EDSR，解释是使用了更注重视觉质量的感知损失。 一般情况下，PSNR 和 LPIPS 指标并不呈正相关，甚至在一定范围内呈现相反的关系。