TextSR - yubo105139/paper GitHub Wiki

TOC

image-20210121171416378

简介

基于ASTER OCR识别网络,新提出文本感知损失函数 ,用OCR识别率作为文字图像超分的监督信息

总结来看:加了文字感知损失作为超分监督信息后,对低分文字图,文本字迹缺失 有比较明显的恢复效果。

实验结果:

1.image-20210121172949002

在文字图像上的超分图PSNR更高

2.

<<<<<<< docs/paper/TextSR/TextSR.md image-20210121173038856

image-20210121173038856

docs/paper/TextSR/TextSR.md

在低分辨率图上超分后识别率提升明显,在非低分辨率图提升也有,但不大

3.

image-20210121173225236

从生成图视觉上看,文字确实更清晰了

4.

image-20210121173306363

不同的OCR和超分网络训练策略,最终结果差不多

5.

image-20210121173645799

加了文字感知损失的TextSR 超分网络倒数第二层的特征图,在文字区域响应更大。

6. image-20210121173759983

TextSR在信息恢复上,能够“脑补”缺失的文字信息

7.

image-20210121174044334

综合来看对清晰图的OCR识别率提升不明显,对低分图OCR识别率在IC15提升 百分之1.5%。

OCR识别网络:

《An attentional scene text recognizer with flexible rectification》2018

超分网络:

《 Photo-realistic single image superresolution using a generative adversarial network》2017

文本感知损失函数:

image-20210121172258260

TextSR目标函数

image-20210121172640432

TextSR结构:

image-20210121172344592