DA_SR_CVPR2021 - yubo105139/paper GitHub Wiki

Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training

code:https://github.com/ShuhangGu/DASR

核心思想：

提出合成的LR图像和真实的LR图像间存在 domain gap。 第一个提出采用域适应来提高低级图像增强性能

​

一直提到的domain gap是什么？其定义？

用了一个判别器去区分 bicubic， 生成的LR， 以及真实的LR。定义为，判别器对其的区分。

针对的问题

合成LR图像的域与真实LR图像依然存在域偏差domain gap，把bicubic、FSSR、DASR（文章提出的网络 ）得到的LR图像输入到一个判别器中进行训练，把结果以直方图的形式输出，从左图中可以看出bicubic、FSSR、DASR得到的LR图像它们之间存在域偏差，这种偏差会影响SR网络在真实LR图像上的超分效果。

文章提出了一种 domain-distance aware super-resolution (DASR) 方法，通过domain-gap aware training和 domain-distance weighted supervision strategies来解决训练数据（合成的LR图像）和测试数据（真实的LR图像）的域偏差情况。

方法概览

已有 真实LR 图， 以及非成对的HR图。

真实的LR图像：

image-20210816161826140

HR图像：

image-20210816161916011

目的：

使超分得到的HR估计在HR真实分布下。

image-20210816161727925

总的方法分两步：

  1. 训练下采样网络 (DSN) 以从 HR 图像生成真实 LR 域中的 LR 图像。

  2. 利用生成的LR-HR图像对来训练SR网络。

降采样网络部分的训练

image-20210816162340967

如何得到满足真实域的LR？

$y^g$ 为 输入HR图像，经过降采样网络(23的residual blocks)生成的LR， $y^r$为真实的LR， $y^b$为双三次降采样得到的LR。

  • 让$y^g$和 $y^b$在内容上保持一致，通过重建损失和感知损失(VGG from conv5_3特征提取)来约束网络

image-20210816164214122

  • 让$y^g$和 $y^r$在域上保持一致，使用对抗损失。

    不像FSSR中只简单在高频空间上使用对抗损失，这里用到了小波变换。基于小波的提取器还利用方向信息来更好地表征图像细节。

    使用 Haar 小波变换来提取更多信息的高频分量，小波变化得到四个子带LL，LH，HL和HH，将高频子带LH，HL和HH进行堆叠来作为判别器的输入。

DSN生成器的loss定义为

image-20210816164308564

训练判别器的loss为其对称形式：

image-20210816164238645

​ 对抗损失可以让网络忽略与SR任务无关的低频信息，同时能够降低网络训练的难度。判别器使用的是一个Patch-GAN策略，通过它得到patch-level dense domain distance map对后续的SRN过程有用。

Patch-GAN

​ 在普通的GAN学习中，判别器D网络的输出是一个标量，介于0~1之间，代表是真实图片的概率。而patchGAN则是输出是NxN的矩阵X，每一个元素x[i][j]表示一个patch，对应于图像的一个感受野，最后取各个patch部位的均值来表示最后总的来看是真实图片的概率。

降采样部分的总体损失

image-20210816164334611

其中在实验中α=0.01，β=1，γ=0.0005，HR图像块大小为192 x 192

Domain distance aware 网络

一个对抗是期望判别器， 判断是否来自于真实LR域以及输出 来自真实域的可能性。

另一个对抗是期望判别器，判断是否来自于真实的HR 域，真实的LR输入后能够拟合到真实的HR分布。

image-20210816165508803

SRN受两个域约束，针对源域采用的是带标签的数据集yg , xr，针对目标域采用的无标签的真实LR图像数据集。

1）Domain-gap aware training：对源域和目标域采用不同的损失函数，对于有标签的源域，采用一种有监督的方法进行训练网络。对于目标域，使用对抗损失在高频信息空间上使输出和HR图像xr的分布对齐。即真实LR输入SRN网络得到,SR输出表示如下：

image-20210816180755373

损失函数：

2）Domain-distance weighted supervision：由于来自不同域的图像之间的差异仅表现在低级特征上，因此生成图像的每一区域与真实图像domain具有不同的domain距离。

生成图像的每个区域可能与现实世界的图像域具有不同的域距离。

不同的区域应该根据它们各自与目标域的距离被赋予不同的重要性。

当用源域数据yg, xr来训练目标域SRN时，应根据不同区域到目标域的距离赋予不同重要性，而DSN得到的patch-level dense domain distance map可以用来表示它们之间的距离，根据这个距离我们给不同区域赋予不同的权重：

wi表示domain distance map，这里的wi直接使用的判别器输出（判别器， 判断是否来自于真实LR域

以及输出 来自真实域的可能性。）此处需要使用bilinear让domain distance map的大小和HR图像一致。

SRN的总体损失

源域的L1重建损失，感知损失， 以及目标域的对抗损失。

其中α = 0.01, β = 1 and γ = 0.005

训练过程

DSN网络生成合成的 LR-HR pairs。 先使用重建损失训练，然后几个损失联合训练。

SRN 利用合成的LR-HRpairs训练超分网络。先使用重建损失训练，然后几个损失联合训练。

⚠️ **GitHub.com Fallback** ⚠️