JackLi · 2021年08月26日

OWOD:开放世界目标检测,更贴近现实的检测场景 | CVPR 2021 Oral

  不同于以往在固定数据集上测试性能,论文提出了一个更符合实际的全新检测场景Open World Object Detection,需要同时识别出未知类别和已知类别,并不断地进行增量学习。论文还给出了ORE解决方案,通过对比聚类和基于能量的分类器来进行开放开放世界的检测训练

来源:晓飞的算法工程笔记 公众号

论文: Towards Open World Object Detection

image.png

Introduction


  常见的目标检测算法都针对特定的数据集进行训练,学习固定数量的类别,用于特定的场景。而论文则讨论一个更现实的场景,开放世界目标检测(Open World Object Detection)。在这个场景中,算法需要解决非目标误识别问题以及具备增量学习的能力。
image.png

  将检测模型应用到开放世界中,除了识别指定类别的目标,还要将非目标类别区别为Unknow,称为Open Set Learning,这需要很强的泛化能力。而Open World Object Detection场景的要求会比Open Set Learning更进一步,当Unknow样本足够时,可随时将Unknow样本打上标签加入到目标类别中,即增量学习。这样的场景设定更为现实,更有助于算法落地,比如机器人、自动驾驶以及监控等需要在运行中不断进行优化的应用。
  论文的主要贡献如下:

  • 定义了Open World Object Detection问题,更贴近现实生活。
  • 提出ORE算法,基于对比聚类(contrastive clustering)、可框出未知类别的检测网络(unknown-aware proposal network)、能量分类器(energy based unknown identification)来解决Open World Object Detection上的问题。
  • 设计了完备的实验,用于衡量算法在Open World Object Detection上的性能。
  • 作为论文的副产品,ORE在增量学习任务上达到了SOTA,而且还有很大的提升空间。

Open World Object Detection


image.png

ORE: Open World Object Detector


  Open World Object Detection的关键在于能够无监督地识别未知类别,以及加入新类别时不会遗忘先前的类别。为了解决上述问题,论文提出了ORE解决方案。

image.png

  图2为ORE的高层抽象,以两阶段检测器Faster R-CNN作为基础检测器。在第一阶段,检测器可通过类不可知的RPN给出可能存在物体的所有区域,而在第二阶段,将上述的每个区域进行分类和位置调整。为了更好的适应Open World Object Detection,ORE对RPN和分类器都进行了相应的改进,适应自动打标签和识别未知类的需求。

Contrastive Clustering

image.png
image.png
image.png

Auto-labelling Unknowns with RPN

image.png

Energy Based Unknown Identifier

image.png
image.png
image.png
image.png

Alleviating Forgetting

  在对识别出来的未知目标进行标注后,得到了新的数据集,如果将所有数据集混合重新训练会很耗时且不够灵活,所以只能使用新数据集进行增量学习,这就需要解决新类别训练对旧类别识别效果的影响。
image.png

Experiment


Open World Evaluation Protocol

  由于是一个全新的任务场景,论文也对实验进行了一些描述。

Data split

image.png

Evaluation metrics

  由于未知目标容易识别成已知类别,使用Wilderness Impact(WI)指标来衡量这种表现:

image.png

Open World Object Detection Results

image.png
image.png
image.png

  上述是一个主要的实验结果,论文还有很多对比实验,有兴趣的可以去看看。

Conclusion


  不同于以往在固定数据集上测试性能,论文提出了一个更符合实际的全新检测场景Open World Object Detection,需要同时识别出未知类别和已知类别,并不断地进行增量学习。论文还给出了ORE解决方案,通过对比聚类和基于能量的分类器来进行开放开放世界的检测训练。


来源:晓飞的算法工程笔记
作者:VincentLee

推荐阅读

更多嵌入式AI技术相关内容请关注嵌入式AI专栏。
推荐阅读
关注数
18808
内容数
1351
嵌入式端AI,包括AI算法在推理框架Tengine,MNN,NCNN,PaddlePaddle及相关芯片上的实现。欢迎加入微信交流群,微信号:aijishu20(备注:嵌入式)
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息