DeepLPF - yubo105139/paper GitHub Wiki

TOC

DeepLPF学习笔记

Architecture：

DeepLPF的架构如下：

上表给出了消融实验结果对比，通过实验验证了不同成分的重要性。从中可以看到：

相比baseline，每个滤波器均有一定程度的性能提升； 多项式滤波器相对更为重要； 三者组合取得了最佳性能；作者所设计的模型包含一个用于细粒度图像增强的单流(single-stream)网络，与一个用于局部增强的双流(two-stream)网络。

• 首先，采用标准CNN骨干网络(如ResNet、UNet)估计一个维度为C，H，W的特征图，其中前三个通道表示待调整图像Y1，其他C'=C-3通道将送入后续的是三个滤波器参数预测模块；
• 然后，采用单流网络用于预测多项式滤波器的参数并用于增强骨干网络的输出Y1得到Y2；
• 其次，增强后的Y2将与C'特征进行拼接并送入双流网络学习局部增强滤波器(渐变滤波器、椭圆滤波器)参数，所学习到的两种类型滤波器通过Add方式进行融合并得到尺度图S，该尺度图将与前述增强图像Y2通过Multiply融合得到Y3；
• 最后，通过骨干网络增强的图像Y1将于所得到的Y3通过Add方式融合得到最终的输出Y。

理解CRA的作用：

数码艺术家经常通过手动调整的方式改进图像的美学质量，这些调整既包含全局调整，也包含局部调整(比如分层渐变、画刷工具等)。然而，这些手动调整方法往往过于耗时且需要较强的专业技能。当前优异的自动图像增强方法往往聚焦于学习像素级或全局增强，前者可能存在噪声且缺乏可解释性，而后者则难以进行更细粒度的调整。

作者提出一种新颖的方法，它可以采用学习到的三种类型（椭圆滤波器、渐变滤波器以及多项式滤波器）的空间局部滤波器进行图像增强。作者引入一种深度神经网络（Deep Local Parametric Filters, DeepLPF）用于回归这些空间局部滤波器的参数并利用这些滤波器对图像进行增强。DeepLPF提供了一种很自然的形式进行模型正则、可解释性、直觉调整，从而生成具有更好视觉效果的图像。作者在多个数据集(Adobe-5K及变种)上验证了所提方法的优异性能.

该文主要有以下三点贡献：

• Local Parametric Filters：提出一种用于局部图像增强的滤波器参数自动估计方法；
• Multiple Filter Fusion Block：提出一种进行多滤波器融合策略。所提的即插即用神经模块可以融合多个独立滤波器，更具灵活性，可以轻易嵌入到通用图像增强网络中；
• SOTA Image Enhancement Quality：所提方法取得了SOTA性能。

实验结果：

上表给出了消融实验结果对比，通过实验验证了不同成分的重要性。从中可以看到：

• 相比baseline，每个滤波器均有一定程度的性能提升；
• 多项式滤波器相对更为重要；
• 三者组合取得了最佳性能；