Residual Pattern Learning: 在不影响模型闭集表现的情况下分割异常物体

论文链接: https://arxiv.org/pdf/2211.14512.pdf
代码链接: https://github.com/yyliu01/RPL
训练细节: https://wandb.ai/yy/RPL?workspace=user-pyedog1976

导读

Out-of-Distribution (OoD) Segmentation 是在原有的闭集分割器的基础上, 让模型进一步拥有识别异常物体的能力。现在的 SOTA 方法都是基于重新 fine-tuning/retraining 整个闭集 Segmentation 网络, 这样会导致对原本 inlier object 的性能下降。同时, 大多数 OoD 的办法很难对多个不同的环境进行很好的拟合, 导致识别异常物体的性能在不同的场景会落差很大。

在这里和大家分享一波我们 ICCV 2023 中稿的工作。在本次工作中, 我们针对当前 OoD Segmentation中的两个问题进行了优化, 并且用 consistent checkpoint 在所有数据集上取得了非常好的性能。

背景

语义分割模型用于将像素级别的 sample 分类到 In Distribution (ID) 类别中。然而，当在开放世界中部署时，这些模型的可靠性不仅取决于其对 ID 像素的分类能力，还取决于其对 Out-of-Distribution (OoD) 像素的检测能力。比如在 autonomous driving 的任务中, 路上出现一些障碍物 (OoD object, 比如说路障) 的时候, 传统的闭集 semantic segmentation 并不能很好的检测出这些物体。因为原本的 segmentation 模型在训练的时候并没有定义这些种类, 导致这类物体会被判定成 head categories (e.g., road), 会对驾驶造成潜在的危险。

OoD Segmentation 方向概述:

OoD Segmentation 方向概述

锁网络

最直接的方法就是直接通过 softmax 或者 energy 的结果来把 segmentation 输出的 mask 里面潜在的 low confidence pixel 判断成 OoD。这种方法的好处是不会影响 ID 的 segmentation 性能, 并且不需要训练网络, 但是在遇到复杂的 inlier 或者 outlier 的时候, 性能会下降的很明显, 如上图 (a) 所示。

重新训练

最近的办法主要是通过 Outlier Exposure (OE) 将一个不相干的 OoD 数据集加入到 ID 数据集, 然后fine-tune已经训练好的 close-set segmentation 模型。在这个 fine-tuning 过程中, 利用新加入的 OoD object来强行增加原本 segmentation 模型对异常的敏感度, 使得其 OoD 分割的性能得到了非常大的提升。但是这类方法的重新训练会导致原本 ID 类别的分割的性能受到不可逆的干扰, 如图 (b) 所示。

由这两点为 motivation, 我们想要在保留原本 inlier 的分类性能的情况下, 得到一个稳定有效的 OoD 分割器, 如图 (c)。

方法

Context-Robust Contrastive Learning (CoroCL)

目前所有 OoD Segmentation在不同场景下的表现都不稳定, 比如大多数分割器在城市场景下能够很好的检测到物体, 但是在以下乡村的环境 (context) 下就会直接失效。

实验

Test Results

(wandb visualisation: https://wandb.ai/yy/RPL?works...)

我们的结果在多个 benchmark 上获得了最稳定的结果, 超过了之前的 SOTA 超过10个点的 FPR 和20个点的 AuPRC。

Ablation Study

在消融实验里, 我们可以先比较了用 entropy 和 energy 用来当 loss 的结果, 然后比较了使用 RPL 和直接使用一个 binary OoD 检测器 (最后一行), RPL 与 Energy 带来了稳定的提升。然而 RPL 在不同的 context 也有之前 OoD segmentation 的通病: 在 FS-Static\L&F 这种 city 环境下效果很好, 但是在其他的 context benchmark 比如 SMIYC&RoadAnomaly 表现却很差 (25.65 & 17.74), CoroCL 很好的缓解了这个问题。

Ablation of RPL

在上图, 我们比较了原本 close-set 分割模型的 mIoU [39] 和其他re-training based OoD ([3], [9] and [31]) 在 close-set 的表现。我们的方法和freeze model 的方法 [13] 在ID数据集没有改变, 但是我们的方法有更好的识别 OoD pixel 的性能 (如_section 1.)_ 所示)。

同时如上表, 我们 RPL block 可以对其他的 OoD 的方法在所有 benchmark 带来进一步的提升。

Ablation of CoroCL

我们在对anchor set 和 contrastive set的选择上, 测试了不同的组合。在最后我们发现当使用Anchor为 Inlier 与 (OE) anomaly, Contrastive set为全部种类时效果最好。在这种组合下, InfoNCE只会分别将不同种类的 ID 互相拉近, 并且推远 OoD 。与以往的方法不同, 两种 OoD 之间的距离会被忽略。

The Learned RPL Feature

我们用 self-attention:

torch.einsum(’abc,bca->bc’, r, r.permute(1,2,0))

来可视化RPL的输出学到的OoD pattern (r)。在上图可以看到, RPL对潜在的OoD object会输出扰动, 而ID的pixel会拟合0输出。

Final Visualisation

我们在上图中对我们模型在不同的场景下做了可视化, 并取得了很好的视觉效果。颜色越偏红代表异常可能性越高

作者：派派星
文章来源：CVHub

推荐阅读

更多嵌入式AI干货请关注嵌入式AI专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。

导读

背景