s论文

​ 将无监督对比学习与超分相结合！国防科大提出DASR：盲图像超分的无监督退化表达学习，从LR图中提取关于退化信息的精确特征表达（一维的），作为参数进行超分。

论文名: Unsupervised Degradation Representation Learning for Blind Super-Resolution
论文地址

代码地址

创新点：

• 将对比学习机制引入到退化表达学习中，并用所得退化表达对后接网络中的特征进行调制。

在表达空间中学习特征表达用于辨别不同的退化，而非像素空间的显示估计。

引入一种退化感知超分网络（DASR），基于所学习表达式进行灵活自适应超分。

作者实验表明：

• 所提退化表达学习机制可以提取极具辨别性的表达以获得精确的退化信息。

• 合成数据与真实图像上的实验表明：所提方法在盲超分任务上取得了SOTA性能。

Degradation Representation Learning

退化表达学习的目的：

采用无监督方式从LR图像中提取一个极具辨别力的表达。下图给出了本文所提退化表达学习示意图，它是一种对比学习框架。该退化表达学习的一个先验假设：同一图像的退化是相同的，而不同图像的退化是不同的。

方案：

1、给定输出图像块作为query，同一图像内其他切割区域做为正样本，其他图像提取的图像块作为负样本。

2、采用一个六层的CNN对图像块提取退化表达特征，然后参考SimCLR、MoConv2传入到MLP中得到一维特征表达，做对比学习，同图的尽可能相似，不同图的不相近。采用infoNCE度量相似性：

DASR

​ 网络模块由退化感知模块DABlock做为核心模块，同时采用了RCAN中的核心模块架构，DASR包括五个残差组，每个残差组包括5个DABlock。

​ DABlock模块介绍 : 两个DA卷积层结合 退化表达 对特征进行自适应调节。受启发于：不同复原等级的卷积核具有相似的模式但不同的统计信息。

​ DABlock模块包括两个子模块,处理方式如下:

​ 第一部分:将退化表达R送入到两个FC层并reshap为卷积核$ω∈^{C×1×3×3}$；然后输入特征F采用该3×3深度卷积及后接1×1卷积处理得到$F_1$。

​ 第二部分:将退化表达R送入到两个FC层以及Sigmoid激活生成通道级调制系数v，然后对F的不同通道进行缩放调整得到$F_2$。

​ 注意 :一二部分的两个FC层数据不共享;

​ 最后上述所得两个特征相加并送入到后续层生成输出特征 。

实验

训练数据,基于DIV2K与Flickr2K,采用不同的高斯模块进行退化,测试数据采用常规的Set5、Set14、B100以及Urban00.

与RCAN、SRMD、MZSR、IKC等方法的性能对比:【作者总结】

• RCAN在bicubic退化方面取得了最佳PSNR，然而当退化与bicubic不同时，模型的性能严重下降；
• 尽管SRMDNF与MZSR可以对估计的退化自适应调整，但这些方法对退化估计过于敏感，限制了其超分性能；
• 所提DASR对不同退化取得了最佳性能，同时具有更少的推理时间。

视觉效果图：

对比的都是比较老的算法，且直观感觉效果并不是特别优秀。

不同方法在广义退化方面的性能对比：

上表对了不同方法在广义退化方面的性能对比：

• 在复杂退化方面，DnCNN+RCAN取得了相对低的性能；
• 由于SRMDNF对于退化估计的敏感性，DnCNN+SRMDNF+Predictor在复杂退化方面的性能极为有限；
• 通过迭代校正估计的退化，IKC取得了优于SRMDNF的性能，然而IKC过于耗时；
• 受益于退化表达学习，本文所提方法取得了最佳的超分性能，同时具有比IKC更快的推理速度。

真实数据上测试DASR相比其他网络生成的结果的确具有更加的视觉效果，清晰的边缘，更少的模糊伪影。