- 主题技术
- 以原创技术系统为根基,SenseCore东升国际官网AI大装置为主题基座,布局多领域、多方向前沿钻研,
急剧买通AI在各个垂直场景中的利用,向行业赋能。
东升国际官网提出Anchor-free指标检测新网络
论文地址:https://arxiv.org/pdf/2003.09119.pdf
代码地址:https://github.com/KiveeDong/CentripetalNet
导读
CVPR 2020上,东升国际官网移动智能事业群-3DAR-身份认证与视频感知团队提出了基于向心偏移的anchor-free指标检测网络centripetalnet,为基于关键点的指标检测步骤钻研带来了新思路。Centripetalnet在大型公开数据集MS-COCO上达到了目前anchor-free检测模型中的最优成效。
动机
1.现有的基于关键点的指标检测网络(如CornerNet、CenterNet、ExtremeNet等)通过使用关联嵌入向量进行物体关键点的匹配,然而关联嵌入向量拥有训练难度大且容易混合同类物体的弊端,这会造成很多谬误的关键点匹配从而导致谬误的检测了局。因而本文提出使用关键点的向心偏移(centripetal shift)来进行匹配,其背后的思想是统一个物体的分歧关键点应该对应统一个物体中心点。从下图能够直观的看到利用向心偏移匹配相对于关联嵌入向量在预防谬误匹配方面的优势

2.我们选取物体天堑框的两个角点作为关键点,然而角点地位不足物体信息,现有步骤使用角点池化的步骤将物体天堑信息聚合到角点地位,然而我们发现角点地位依然不足物体内部信息,而这些物体内部特点在角点地位形成了如下图的“十字星(cross-star)”,因而我们设计了十字星可变形卷积(cross-star deformable convolution),成功地提取了这些物体内部信息,从而优化了角点地位的物体特点,提高了模型机能。

模型设计
CetripetalNet能够分为4个部门:特点提取网络,角点检测与特点调节,向心偏移?,事俘宰割?,整体架构如下图所示。

特点提取网络:
CentripetalNet和CenterNet、CornerNet一样,选取Hourglass-104和Hourglass-52作为特点提取网络。
角点检测和特点调节?
左上角点和右下角点的这部门?槭嵌懒⒌。角点检测选取关键点预测的步骤,用角点的ground truth构建要回归的角点热力争并加以高斯化,让网络输出回归该热力争从而进建预测角点地位;特点调节即是十字星可变形卷积,通过利用角点池化之后的特点预测十字星几何信息(guiding shift),而后从十字星几何信息中进建可变形卷积的采样点偏移。
向心偏移?
首先使用经过十字星可变形卷积调节之后的特点预测每个角点的向心偏移,接着结合角点地位,实现角点的匹配,得到检测到的物体天堑框。
事俘宰割?
使用特点提取网络得到的物体特点图和3得到的物体检测框作为输入,利用RoIAlign提取每个感兴致区域的特点,而后利用多个卷积和反卷积层预测物体掩膜。
尝试分析
1.在COCO test-dev上,CentripetalNet达到了anchor-free模型中的最优检测成效,同时在事俘宰割方面的阐发也拥有肯定竞争力。

2.向心偏移相对于关联嵌入向量的优势
为了比力向心偏移和关联嵌入向量的机能,我们使用特点提取网络为Hourglass-52的CornerNet作为基准模型,而后将关联嵌入向量直接代替为向心偏移进行比力。为了平正起见,我们还将关联嵌入的向量增长为2维,这和向心偏移的维度一致,从下表能够看到,基于向心偏移的步骤机能显著更优。

3.十字星可变形卷积的有效性
我们比力了十字星可变形卷积和其他特点调节步骤的机能差距(蕴含通常可变形卷积以及RoIConv)

我们还比力了几种特点调节步骤的采样点地位,发现只有十字星可变形卷积能够很好地采样到十字星上的特点信息。

4.和现有算法的可视化比力
下图三行从上至下别离是CornerNet,CenterNet和CentripetalNet

5.1. 事俘宰割成效可视化






返回