CRA - yubo105139/paper GitHub Wiki
CRA学习笔记
CRA的pipeline：
CRA的pipeline如下：
图片中的上半部分展示了上下文残差聚合机制，下半部分展示了生成器的具体结构。
由于神经网络的卷积层只需要在低分辨率的输入和输出上进行操作，因此内存成本和计算时间大大降低。此外，由于该模型可以用低分辨率的图像进行训练，因此对高分辨率训练数据集的需求得到了缓解。这一方法可以对大到8K的图像进行处理，并能达到令人满意的质量，这是之前基于学习的方法无法处理的。
理解CRA的作用：
近年来，基于数据驱动的图像补全方法已经取得较大进展，并在图像编辑领域有所应用。该类方法较传统方法更有潜力，然而，由于内存限制，它们仅能处理低分辨率的图片，图片尺寸通常小于1K，难以满足高清图片编辑的需求。
华为海思研究部提出了一种名叫“上下文残差聚合（Contextual Residual Aggregation）”的机制，可以通过对背景区域（即所谓“上下文”）中的残差进行加权聚合来生成丢失内容的高频残差，因而可以得到图片中的各种高清细节。
该方法首次实现了使用神经网络对8K图片进行补全，不仅得到了高质量的结果，而且存储空间和耗时都比较小。用这一方法对高清图片进行处理（移除图片中的人物并补全图片），得到的效果如下图所示，这些图片原本都有非常高的分辨率，通过这一方法处理后，图片中仍然有非常逼真和完美的细节。
实验结果：
目前该论文已被CVPR 2020接收为 oral presentation。该模型已在华为的AI芯片Ascend 310上部署，并在Github上开源，链接：