Toward Real World SR via Adaptive Downsampling model_TPAMI 2021 - yubo105139/paper GitHub Wiki

Toward Real-World Super-Resolution via Adaptive Downsampling Models2021

项目地址:https://cv.snu.ac.kr/research/ADL/ 代码未出来

创新点:

提出两种损失(LFL) low-frequency loss ,和adaptive data loss (ADL)来训练退化模型, 以得到准确和逼真的 LR 样本，而无需依赖任何预定的下采样算子。
提出一种低通滤波操作,能够在各种未知的退化中很好地泛化,不偏向特定降质操作,更好的模拟真实的降质,生成更真实的lr hr图像对.

提出的方法

不成对的数据集 进行训练sr模型的方法.分两阶段:

• 优化降采样模型D, 从hr图像中得到lr, 即 I_HR 得到I_Down的过程. 并期望生成的I_Down 尽可能的逼近真实的I_LR的分布.
• 得到I_Down后, 就有了图像对, I_Down和I_HR, 使用该图像对训练sr模型.


降采样的学习过程

当前降采样方法训练存在的问题

HR 通过降采样生成器生成L_down,怎样判断L_down和 真实的I_Lr 分布是一致的. 文中使用 L_data 数据损失和 L_adv 对抗损失.

降采样器和判别器的目标损失如下:


常用的方法定义L_data 是使用一个已知的降采样操作R_HR如bicubic方法 :


L_data和L_adv之间存在固有的矛盾:

如果优化数据项 L_data, 可能会使学习模型偏向于使用的降采样算子 R_HR。如果下采样图像的分布 R_HR (I_HR) 显着偏离目标分布 I_LR，则这种偏差可能与对抗性训练目标 L_adv 发生冲突. 而如果只使用对抗损失,下采样图像不会保留原始颜色并且与输入 I_HR 不一致。

那么如何不预定R_HR的降采样操作来使用L_data?

使用L_LFL 来替代 L_data , LFL 旨在减少为计算L_data而预定下采样算子产生的偏差。


其中LPF代表着一种低通滤波操作. 采用两种不同的低通滤波器：box 和 Gaussian，来制定损失项。分别对 LPFms 和 LPFm 使用 32 × 32 和 16 × 16 盒式滤波器，缩放因子 s = 2。

为什么该操作可以不预定降采样操作?

该操作使得LFL 能够在各种未知的退化中很好地泛化. 无论下采样模型如何，图像内容都可以在不同尺度上保留.

为什么进一步提出ADL(adaptive data loss)?

LFL 固有的模糊性使得解决优化问题具有挑战性，因为来自不同下采样过程的 LR 图像可能共享相似的低频分量

LFL 的主要限制是它旨在保持 HR 和 LR 图像之间的一致性，而不是模拟目标分布中 LR 图像的结构

最小化 LFL 允许下采样器生成有效的 LR 图像，但不能保证学习到的下采样器实现我们想要的。 因此，LFL 的定义是可推广的，但由于歧义，不能是任何任意下采样模型的最佳定义。

ADL的方法

将学习到的下采样模型 D 线性化为相应的 2D 核 k.


可以解释为 N 个输入上可能有噪声的下采样网络的平均值，因此内核 ¯k 是预训练网络的正则化表示.

得到估计的核k后, ADL的定义如下:


与式子(3)中预先确定的算子 R_HR 或 B 不同，这里的退化核 k 是从训练数据中自适应学习的，与对抗性损失 L_adv 的冲突较小.

提出的降采样器训练算法

ADL实践方法中的两点改进:

• 通过观察, 使用LFL损失, 即使只训练很少个iter, 都能在很大程度上模拟到目标下采样模型. 所以不需要完全训练好的下采样模型.使用LFL损失训练一个t_warmup iterations 就可以. 然后根据训练得到的下采样模型D, 我们可以计算出 退化核 k.
• 定期调整退化核k以防止我们的下采样模型偏向于固定的算子.


开始使用LFL计算L_data

经过t_warm-up个iter后开始从学习到的降采样模型中计算退化核k

同时每经过 t_update 个 iter 后更新一次退化核k.

然后根据该退化核k计算L_data.

下图表明了,如果L_data使用预定义好的退化核,那么学习得到的I_down,会偏向与预定义好的退化核, 而不是实际理想的退化模型.


sr模型训练

使用了 L1 损失, 感知损失L_per, 对抗损失L_gan



实验

数据集:使用的DIV2K 合成数据集

评估指标: 使用合成数据对训练得到的sr 和hr 之间的psnr；降采样得到的LR和真实lr之间的psnr

模型结构选取: 小型的EDSR网络和大型的RRDB网络

超参数:LPF 采用32*32的盒式滤波器

降采样器生成的lr与实际lr的一致性

选取几个degradation kernels;
for ki in degradation kernels:
	分配n张图, 取一半作为hr;另一半使用核ki进行降质得到真实的lr.
	然后使用这些不成对的hr和lr训练降采样器D,  比较D(hr) 和lr

使用不同的L_data计算方法, 在不同的合成核和尺度上 训练降采样模型.生成的I_down 和实际lr之间的psnr 对比, 实验方法:


可以看到前两种方法,在k0k1 上表现较好, 但是当实际的降质核与其不一致时, 其得到的lr表现就不行了.

学习到的降采样器生成的成对数据在sr模型上的有效性

table3 , 展示了其对不同降质核的泛化性,不偏向于某一特定的降质操作, 可以很好的模拟真实的lr的降质, 得到更真实的图像对,从而得到更好的sr结果.

table 4, 表明了该降质方法可以处理不同相机得到的真实lr图像. 而真实图像与合成图像相比其降质更多样更复杂.

合成数据一组lr图采用同样的降质过程, 但是真实lr中,一组lr图可能共享相似但不相同的降质过程. 提出的LFL 和 ADL 方法可以学习所有可能的下采样算子的平均值，并在真实数据集上很好地泛化。

此处的Oracle 指的是已知 该真实lr的降质过程, 并用其作为预降质操作训练降采样器. 或者已知其降质的lr图像, 即已知与hr成对的lr.