cutblur - yubo105139/paper GitHub Wiki

TOC

Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy

创新点

​ 数据增强是一种被认为能够有效提高模型性能的方法，而许多数据增强的方法也都是用于High-level 的视觉任务，并不适合图像超分辨率任务。这篇论文对现有目前应用于图像超分辨率任务的数据增强方法进行了综合的分析，发现通过对图像像素或者特征操作或者丢弃的方法会严重影响图像复原，这是因为图像的空间关系很重要，但是这些操作破坏了图像的空间关系。

​ 基于这样的分析，论文提出了新的数据增强方法——CutBlur。它通过将低分辨率图像中的图像块裁剪并张贴在高分辨率图像中的对应位置，反之也一样。CurBlur 的关键在于让模型不仅知道如何超分，同时也知道哪里需要超分。通过这样的方法，模型能够自适应地去决定图像多大程度上去应用超分而不是盲目地对所有像素进行超分。

实质

​ LR 切一块(随机或者有导向性都行) 然后贴到HR上,作为输入数据. 在训练的时候可以保证SR可以从LR中恢复到图像的高频信息,按照作者所说,这样图像超分的时候可以更接近于图像的真实分布.但是在于图像中抽patch这种训练方式,实际并不实用,而且图像混入在特定任务下,例如模型较小,数据较少的情况下,增强部分学习不够,可能还适得其反.

为什么 CutBlur 适用于 SR？

从之前不同 DA 方法对比，可以看到，图像内容信息的急剧变化，图像块的混叠，或者是丢失像素的相关性都能够损害SR 的性能。因此，用于 SR 的良好的DA方法不应存在不符合实际的模式或信息丢失，并且应该为SR模型良好的正则。

CutBlur能够满足以上的条件：

1.它仅仅在 HR 和 LR 图像块之间进行裁剪和粘贴，因此能够最小化边界效应。

2.它可以利用整个图像信息，同时由于样本具有随机的HR比率和位置，CutBlur具有正则化效果。

有道理的评论

通读了一遍论文，个人感觉这个DA方法有点tricky. DA产生的新的训练数据，会要求网络模型不只是学习超分/去噪，还需要判断输入图像模糊程度/噪声强度，这就要求原始网络模型的capacity足够大，有富余的参数可以handle额外的要求。 这就意味着这种做法只有在训练数据量不够，且使用的网络模型足够大时会有效，原因是：采用这种DA方法，可以阻止模型overfitting，因此提高在验证集上的效果。所以他实验也发现，小模型，例如SRCNN，是没有帮助的，因为模型capacity太小了，光专一处理超分/去噪都不够，没有能力去判断输入的状况