thlfpsr - yubo105139/paper GitHub Wiki

TOC

Texture Hallucination for Large-Factor PaintingSuper-Resolution

网络结构

image-20210220154552365

  • 属于Reference-based SR
  • Fig 2左侧对低分图像$I_{LR}$上采样16倍获取对应的超分特征$F_{SR}$;
  • Fig 2右侧中$I_{Ref \downarrow \uparrow}$为将参考图像先bicubic降采样s=$2^L$(16)倍,再升s倍,目的是为了和$I_{LR \uparrow}$具有相同的分布;
  • 为降低计算量,对$I_{Ref \downarrow \uparrow}$和$I_{LR \uparrow}$提取特征,计算其匹配信息:

image-20210220155223238

​ 其中$H^{L-2}_{M}$表示特征匹配运算;

  • 通过计算的匹配信息,对提取的参考图像特征进行转换:

    image-20210220155418240

    其中$H^L_{T}$表示特征转换运算;

  • 最终对$F_{SR}$和$F^L_{T}$进行concat,重建出超分图像;

loss函数

  • 重建损失(l1损失)+感知损失+对抗损失+小波纹理损失+降质损失
  • 小波纹理损失和降质损失为其创新点
  • 小波纹理损失:

image-20210220155845326

​ $H^{HH}_{W}()$为Haar小波变换提取的高频信息,Gr()表示Gram矩阵,Haar小波变换:

image-20210220160116400

小波纹理损失的目的:保护生成的图像具有较好的纹理(类似参考图像),解决重建损失在超分倍数较大时,超分图像平滑的问题;

  • 降质损失:

image-20210220160241669

目的:能够在某种程度上抑制伪影;