DCNv1 - yubo105139/paper GitHub Wiki

DCNv1学习笔记

DCN（Deformable Conv Nets）：

DCN网络结构如下：

DCNv1的计算公式如下：

理解DCN的作用：

DCNv1的核心思想就是在原网络结构基础上多添加一个通道用来学习偏移量（offset），偏移量是加在采样点上的，如果采样点的坐标值是小数则会利用双线性插值的方式来进行采样。引入offset以后卷积的形状就不是原来规则的矩形，而是会为了适应目标发生形状的变化，下图展示了几种变化方式：

而卷积形状发生变化之后，高级特征图（feature maps）上每个点的感受野也会随之发生变化，会变得更集中在目标的周围，如下图所示：

这种更为灵活的采样方式会让我们在训练模型时，采样点调整到目标周围从而使得特征的提取变得不再死板，显得更加“有的放矢”。采用这种可行变卷积对目标检测以及其他cv领域的任务（如视频超分）着显著的帮助和提升。

实验结果：

原论文主要将DCN用在目标检测任务中来做实验，主要将特征提取的Res-101网络的最后1、2 3、6层卷积换成DCN来进行训练和测试，测试的结果如下所示：