不同于以往在固定数据集上测试性能,论文提出了一个更符合实际的全新检测场景Open World Object Detection,需要同时识别出未知类别和已知类别,并不断地进行增量学习。论文还给出了ORE解决方案,通过对比聚类和基于能量的分类器来进行开放开放世界的检测训练
来源:晓飞的算法工程笔记 公众号
论文: Towards Open World Object Detection
Introduction
常见的目标检测算法都针对特定的数据集进行训练,学习固定数量的类别,用于特定的场景。而论文则讨论一个更现实的场景,开放世界目标检测(Open World Object Detection)。在这个场景中,算法需要解决非目标误识别问题以及具备增量学习的能力。
将检测模型应用到开放世界中,除了识别指定类别的目标,还要将非目标类别区别为Unknow,称为Open Set Learning,这需要很强的泛化能力。而Open World Object Detection场景的要求会比Open Set Learning更进一步,当Unknow样本足够时,可随时将Unknow样本打上标签加入到目标类别中,即增量学习。这样的场景设定更为现实,更有助于算法落地,比如机器人、自动驾驶以及监控等需要在运行中不断进行优化的应用。
论文的主要贡献如下:
- 定义了Open World Object Detection问题,更贴近现实生活。
- 提出ORE算法,基于对比聚类(contrastive clustering)、可框出未知类别的检测网络(unknown-aware proposal network)、能量分类器(energy based unknown identification)来解决Open World Object Detection上的问题。
- 设计了完备的实验,用于衡量算法在Open World Object Detection上的性能。
- 作为论文的副产品,ORE在增量学习任务上达到了SOTA,而且还有很大的提升空间。
Open World Object Detection
ORE: Open World Object Detector
Open World Object Detection的关键在于能够无监督地识别未知类别,以及加入新类别时不会遗忘先前的类别。为了解决上述问题,论文提出了ORE解决方案。
图2为ORE的高层抽象,以两阶段检测器Faster R-CNN作为基础检测器。在第一阶段,检测器可通过类不可知的RPN给出可能存在物体的所有区域,而在第二阶段,将上述的每个区域进行分类和位置调整。为了更好的适应Open World Object Detection,ORE对RPN和分类器都进行了相应的改进,适应自动打标签和识别未知类的需求。
Contrastive Clustering
Auto-labelling Unknowns with RPN
Energy Based Unknown Identifier
Alleviating Forgetting
在对识别出来的未知目标进行标注后,得到了新的数据集,如果将所有数据集混合重新训练会很耗时且不够灵活,所以只能使用新数据集进行增量学习,这就需要解决新类别训练对旧类别识别效果的影响。
Experiment
Open World Evaluation Protocol
由于是一个全新的任务场景,论文也对实验进行了一些描述。
Data split
Evaluation metrics
由于未知目标容易识别成已知类别,使用Wilderness Impact(WI)指标来衡量这种表现:
Open World Object Detection Results
上述是一个主要的实验结果,论文还有很多对比实验,有兴趣的可以去看看。
Conclusion
不同于以往在固定数据集上测试性能,论文提出了一个更符合实际的全新检测场景Open World Object Detection,需要同时识别出未知类别和已知类别,并不断地进行增量学习。论文还给出了ORE解决方案,通过对比聚类和基于能量的分类器来进行开放开放世界的检测训练。
来源:晓飞的算法工程笔记
作者:VincentLee
推荐阅读
- OpenSitUp开源项目:零基础开发姿态估计APP
- 端侧AI框架-MindSpore1.3 Lite的大更新,有点让人眼花缭乱
- Mobile-Former | MobileNet+Transformer轻量化模型
更多嵌入式AI技术相关内容请关注嵌入式AI专栏。