pseudo sr - yubo105139/paper GitHub Wiki
伪监督 for UISR
论文标题 :
Unpaired Image Super-Resolution using Pseudo-Supervision
1.研究目的
盲超过程中的非成对的对抗有两种方式：第一种是直接对抗,第二种是非直接对抗
1)直接对抗
LR源图像经过生成器生成HR图像与不成对的标签HR图像做对抗，使生成器学习上采样过程，使生成的HR图像尽量高清，这种方法的缺点在于没有办法用常用的逐像素损失等损失函数因此无法很有力的约束生成的HR图像，导致生成的HR图像效果不佳
2)非直接对抗
利用HR源图像，通过生成器生成LR图像，并于不成对的标签LR图像做对抗从而使生成器学习其退化过程，使生成的LR图像尽量逼近真实世界图像，再通过另一个生成器上采样生成HR图像并于初始源HR图像作损失，从而学习了从生成的逼近真实世界LR图像到高清HR图像的映射，这种方法的缺点是通过生成器生成的LR图像与真实世界的LR图像差别较大导致测试时生成的HR图像效果不佳。
3)解决办法
这篇文章提出的方法很好的解决了上述两种方法中的问题。
通过将两种方法结合起来，第一种方法的缺点通过第二种方法就可以很好的解决没有办法引入逐元素损失等常见图像恢复损失的问题，而第二种方法通过与第一种方法的结合就可以解决没有真实世界LR图像导致的训练出的网络无法泛化真实世界LR的问题（引入不成对的LR图像源），其实就是第二种方法辅助第一种方法进行网络训练。
2.本文方法
原文图
自己整理之后的图
HR A:原始高分图像A
LR A:原始图像降采样生成的低分图像(无噪声)
G1:学习如何增加自然分布噪声的生成器
LR A`:生成的增加噪声的低分A图
D1:自然分布噪声判别器
LR B:原始的低分图像B
G2:学习如何清理自然噪声的生成器
D2:洁净噪声判别器 针对低质量的的场景文本图像识别任务，使用超分结构来辅助识别网络的训练，解决模糊和低分辨率的问题。 LR A``:伪清洁噪声的低分图像A
LR B`: 伪清洁噪声的低分图像B
G3:上采样生成器学习根据HR A 生成HR A``
HR A``:上采样生成的高分图像A
HR B`:上采样生成的高分图像B
D3:生成图像B是否与A生成分布一样的判别器
Loss:计算损失
心得:
UISR 弱监督的核心思维就是找到一个合适的F,使得在图像没有对应成对时,生成的超分图像的图像分布与真实图像无限接近.本文有价值的点在于造出和真实分布无限接近的低分图.这样有服从自然分布的低分图,有服从自然分布的高分图,在应用到某一特定的场景下,针对于该场景数据就有很好的泛化性.