TOC

BlindSR

BlindSR解决的问题

大多SR方法都假设了从HR图像到LR图像的预定义退化过程(例如，双三次下采样),使用预定义的退化来获得训练用的HR-LR对,这对于具有复杂退化类型的真实图像来说不适用.BlindSR旨在对有未知退化的低分辨率图像进行超分.

BlindSR 相关方法总结

1.没有给出退化核估计的方法. 但是将退化信息作为SR的附加信息输入.关注于如何利用退化核进行图像特定的适应.

SRMD Learning a Single Convolutional Super-Resolution Network forMultiple Degradations (CVPR2018)

核和特征图 concat后输入sr. 提出一种dimensionality stretching 来对退化核k做变形,得到degradation map 以便于和LR做concat.

DPSR Deep plug-and-play superresolution for arbitrary blur kernels (CVPR2019)

UDVD Unified dynamic convolutional network for super-resolution with variational degradations (CVPR2020)

USRNet Deep Unfolding Network for Image Super-Resolution (CVPR2020)

看不懂

缺点:依赖于额外输入的退化核, 核不好估计, 错误的退化核估计会带来不好的SR结果.

2.将退化核估计融入SR过程.

• 关注SR过程中对退化核估计的准确性.

IKC Blind Super-Resolution With Iterative Kernel Correction (CVPR2019)

利用sr作为中间结果,迭代获取准确的核估计,得到的核估计与特征图concat后,输入空间特征转换层(SFTlayer)得到仿射变换缩放位移参数a,b. 然后对特征图进行变换.

DAN Unfolding the Alternating Optimization for Blind Super Resolution (NIPS2020)

Restorer超分块和Estimator核估计块交替叠加. 核估计块输入为SR和LR,输出为退化核. 超分块输入为退化核 和LR(退化核和LR也是直接concat),输出为SR.

VBSR Blind image super-resolution with spatially variant degradations (ACM Trans 2019)

MANet Mutual affine network for spatially variant Blind_SR (ICCV2021)

其认为模糊核在图像的空间上不是不变的.提出一个核估计网络MANet, 可以估计很小的patch的核, 可以准确估计最小patch9*9的内核.利用通道相互关系,提出一个mutual affine convolution layer去增强特征表达, 使其适用于模糊核的特征提取.

FKP Flow-based Kernel Prior with Application to Blind Super-Resolution (CVPR2021)

其认为未经训练的网络估计的内核不受约束,无先验知识.FKP 中提出核先验 , 文中的退化核为隐变量生成, 隐变量和核之间存在可逆映射关系, 隐变量通过核先验模型可以找到核空间对应的某个内核, 产生合理的核初始化,保证了核的生成质量. 该核先验能很好的结合kernelGAN以及Double-DIP的方法得到优质的退化核.

• 获得退化估计, 根据生成的退化估计,使 SR 网络适应特定的退化.

DRL_DASR Unsupervised Degradation Representation Learning for Blind Super-Resolution (CVPR2021)

学习抽象的退化表示而不是数值明确的退化核估计. 基于假设同一张图的patch退化相同, 不同图的patch退化不同. 使用query和positive and negative patches来进行训练, 使用一个6conv+avgpool的网络得到退化表示,利用退化表示预测卷积核w和特征通道调制系数v.来使sr网络自适应退化.

KOALAnet KOALAnet_Blind_Super-Resolution_Using_Kernel-Oriented_Adaptive_Local_Adjustment (CVPR2021)

核估计为多个ResBlock叠加的UNet结构的网络,输入为LR,输出为退化核k, 需要gt k 来训练. 估计的退化核后输入上采样网络中的KOALA模块,得到一个m和k, m类似一个注意力map, k为一个局部滤波器, 上采样网络的最后分支得到残差特征图和一个局部上采样核, 然后联合输出SR.

AMNet-RL Learning the non-differentiable optimization for blind super-resolution (CVPR2021)

一个简单的网络做核估计(几个residual block 叠加,后跟一个GAP),将k 经过PCA 得到reduced kernel k, 经过全连接层 转换为缩放和偏差值的函数. 然后用其来调整输入特征图的标准差和均值.

CMDSR Conditional Meta-Network for Blind Super-Resolution with Multiple Degradations (CVPR2021)

同一种退化核生成的退化图片有相同的隐含特征. 用该退化先验信息指导SR网络. 一个网络输出退化的隐含特征, 该特征经过处理(全连接,通道维度调整)后直接与SR网络的卷积的权重参数相乘.

• 使训练集覆盖更多退化核 .得到更通用的训练数据集使 SR 模型能够隐式区分和自适应处理具有不同退化的 LR 输入。

KMSR Kernel modeling super-resolution on real low-resolution images (ICCV2019)

期望使用内核估计算法来从真实LR照片中提取真实的模糊内核, 但生成训练SR网络所需的足够大和多样化模糊内核是很难的. 这里提出利用GAN逼近复杂的分布的能力来学习和生成额外的模糊内核，从而扩大了使用内核估计获得的有限内核集.

首先需要使用核估计算法从照片中提取真实的模糊核(确定该核估计方法提取的是真实模糊核?原论文的该部分涉及一些超参数的设置),然后训练一个GAN来扩大内核池.

RealSR Real-World Super-Resolution via Kernel Estimation and Noise Injection (CVPR2020)

真实图经过 clean_up(双三次下采样操作)得到 hr图(该hr图缺少高频信息).根据特定的核约束构建降质池,.从真实图的patch中按照一定规则收集噪声.然后从降质池中随机选择模糊核,随机选择噪声, 得到大量的hr-lr图像对进行超分训练.

BSRGAN Designing a Practical Degradation Model for Deep Blind Image Super-Resolution (ICCV2021)

模糊,降采样,加噪声, 随机安排各因子的执行顺序, 并且每种因子有多种选择. 这样构建一个复杂但实用的退化模型.

REAL-ESRGAN Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data (CVPR2021)

两阶段模拟退化, 每个阶段都采用经典的传统退化模型 模糊、噪声、压缩、resize等, 并在模糊 过程中加入 sinc滤波器来模拟振铃和过冲伪像. 生成器 GAN损失中,判别器使用具有谱归一化(Spectral Normalization)的U-net判别器

ADL Toward Real-World SR via Adaptive Downsampling model (TPAMI 2021)

使用一种低通滤波操作,认为其不偏向特定的降质操作,满足对不同降质核的泛化性, 能更好的模拟真实的lr降质. 生成更真实的lr hr 图像对.

3.通过单张图来提取退化核. 利用单个图像的patch往往会在该图像内多尺度重复出现的特点.

NPBSR Nonparametric blind super-resolution (ICCV2013)

ZSSR “Zero-Shot” Super-Resolution using Deep Internal Learning (CVPR2018)

LR图像I先再度降采样s倍，成为I↓s。网络学习I↓s到I的映射，然后把网络用于I的升采样，得到HR图像I↑s。

KernelGAN Blind Super-Resolution Kernel Estimation using an Internal-GAN (NeurIPS 2019)

LR图输入生成网络, 生成下采样2倍的图像。然后从原始LR图像和下采样图像截取patch,输入到判别器,让判别器无法区分 LR的实际patch以及降采样后的patch.最终得到的生成网络,即认为是该LR图对应的特定的退化操作.

缺点:1,2,3三种方法,当遇到模型不涵盖的退化时, sr结果会不好. 但是通过足够的训练数据从而对任意 LR 中的退化进行显式建模几乎不可能.

4.使用GAN方法隐式生成退化核

CinCGAN Unsupervised image super-resolution using cycle-in-cycle generative adversarial networks (CVPR2018)

使用了两个CycleGAN的模型, 第一个用于将未知退化的LR 图像映射到clean-LR。第二个用于将 LR 图像映射到 HR 图像。 HR和LR可以非成对, HR使用bicubic 降采样得到 clean-LR.

DegradationGAN To learn image superresolution, use a gan to learn how to do image degradation first (ECCV2018)

Pseudo-supervise Unpaired image super-resolution using pseudosupervision

DSGAN Frequency Separation for Real-World Super-Resolution (ICCV 2019)

先对HR图像进行人工降质, 该降质图与真实的LR图存在差异. 对降质图进行domain transformer , 域迁移后降质图更接近真实LR图, 使用迁移图进行SR训练. 域迁移方法就是使得判别器无法区分真实LR图像与降质图输入生成网络得到的图像. 主要是针对高频分量的域迁移.

FS-SRGAN Guided frequency separation network for real-world super-resolution (CVPR 2020)

其认为真实LR和合成LR图的区别在于高频分量, 也是对人工降质图进行域迁移转换, 但是保留其颜色特征(低频分量). 使用颜色注意残差块来引导生成器, 使域迁移时保留低频分量,只迁移高频分量.通过这种域迁移得到接近真实的LR图.

DASR Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training (CVPR2021)

bicubic降采样得到的LR,生成器生成的LR, 以及真实的LR存在Domain GAP, 提出一种domain-gap aware training和 domain-distance weighted supervision strategies来解决合成的LR图像和真实的LR图像的域偏差情况。

训练一个下采样网络, 使HR降采样后与真实的LR域中的图像尽可能相似. 降采样得到的lr 与 bicubic降采样得到的lr_b 使用l_con 和l_per loss使得内容上保持一致,与真实的lr_real使用 Haar 小波变换来提取更多信息的高频分量,并使用l_adv以在域上保持一致.

再训练一个Domain distance aware 网络,生成图像的每个区域可能与真实的图像域具有不同的域距离,不同的区域应该根据它们各自与目标域的距离被赋予不同的重要性。这种权重值为判别器判断来自真实域的可能性大小.

最后用生成的HR LR对训练SR网络.