thlfpsr - yubo105139/paper GitHub Wiki
Texture Hallucination for Large-Factor PaintingSuper-Resolution
网络结构
- 属于Reference-based SR
- Fig 2左侧对低分图像$
I_{LR}
$上采样16倍获取对应的超分特征$F_{SR}
$; - Fig 2右侧中$
I_{Ref \downarrow \uparrow}
$为将参考图像先bicubic降采样s=$2^L
$(16)倍,再升s倍,目的是为了和$I_{LR \uparrow}
$具有相同的分布; - 为降低计算量,对$
I_{Ref \downarrow \uparrow}
$和$I_{LR \uparrow}
$提取特征,计算其匹配信息:
其中$H^{L-2}_{M}
$表示特征匹配运算;
-
通过计算的匹配信息,对提取的参考图像特征进行转换:
其中$
H^L_{T}
$表示特征转换运算; -
最终对$
F_{SR}
$和$F^L_{T}
$进行concat,重建出超分图像;
loss函数
- 重建损失(l1损失)+感知损失+对抗损失+小波纹理损失+降质损失
- 小波纹理损失和降质损失为其创新点
- 小波纹理损失:
$H^{HH}_{W}()
$为Haar小波变换提取的高频信息,Gr()表示Gram矩阵,Haar小波变换:
小波纹理损失的目的:保护生成的图像具有较好的纹理(类似参考图像),解决重建损失在超分倍数较大时,超分图像平滑的问题;
- 降质损失:
目的:能够在某种程度上抑制伪影;