点击下方卡片，关注「集智书童」公众号
边界框回归（BBR）的损失函数对于目标检测至关重要。它的良好定义将为模型带来显著的性能改进。大多数现有的工作假设训练数据中的样本是高质量的，并侧重于增强BBR损失的拟合能力。如果盲目地加强低质量样本的BBR，这将危及本地化性能。
Focal EIoU v1被提出来解决这个问题，但由于其静态聚焦机制（FM），非单调FM的潜力没有被充分利用。基于这一思想，作者提出了一种基于IoU的损失，该损失具有动态非单调FM，名为Wise IoU（WIoU）。当WIoU应用于最先进的实时检测器YOLOv7时，MS-COCO数据集上的AP75从53.03%提高到54.50%。
1、简介
YOLO系列的实时检测器已经得到大多数研究人员的认可，并自其问世以来应用于许多场景。例如YOLOv1，它构建了一个由BBR损失、分类损失和目标损失加权的损失函数。直到现在，这种构造仍然是目标检测任务最有效的损失函数范式，其中BBR损失直接决定了模型的定位性能。为了进一步提高模型的本地化性能，设计良好的BBR损失至关重要。
1.3、Focusing机制
主要贡献总结如下：
- 提出了BBR的基于注意力的损失WIoU v1，它在仿真实验中实现了比最先进的SIoU更低的回归误差。
- 设计了具有单调FM的WIoU v2和具有动态非单调FM的WIoU v3。利用动态非单调FM的明智的梯度增益分配策略，WIoU v3获得了优越的性能。
- 对低质量的样本的影响进行了一系列详细的研究，证明了动态非单调调频的有效性和效率。
2、相关工作
2.1、回归损失函数
为了补偿l2-范数损失的尺度敏感性，YOLOv1通过对边界框的大小进行平方根变换来削弱大边界框的影响。YOLOv3提议构建一个惩罚项来降低大目标框的竞争力。然而，l2-范数损失忽略了边界框属性之间的相关性，使得这种类型的BBR损失的效果较差。
为了解决IoU损失的梯度消失问题，GIoU使用了由最小的封闭框构造的惩罚项。DIoU使用由距离度量构造的惩罚项，而CIoU是通过添加基于DIoU的高宽比度量得到的。而SIoU构建了具有角度惩罚、距离惩罚和形状惩罚的IOU损失，具有更快的收敛速度和更好的性能。
2.2、带有FM的损失函数
交叉熵损失在二值分类任务中被广泛地应用。然而，这个损失函数的一个显著特性是，即使是简单的样本也会产生很大的损失值，与困难的样本竞争。林等人提出了单调FM的focal loss，有效地降低了简单样本的竞争力。
在Focal-EIoU中，Zifan等人提出了非单调调频的 Focal-EIoU v1和单调调频的 Focal-EIoU v1。在实验中，单调调频比非单调调频是一个更好的选择。
Focal-EIoU v1的FM是静态的，它规定了anchor box的质量划分标准。当anchor box的IoU损失等于界值时，得到了anchor box的最高梯度增益。由于没有注意到anchor box的质量评价反映在相互比较中，因此它没有充分利用非单调调频的潜力。
3、本文方法
3.1 模拟实验
- r = 0.5，anchor box分布在目标框覆盖区域内外（图4a），对应于BBR中的所有情况。
- r = 0.1，anchor box在目标框的覆盖范围内生成（图4b），对应于BBR中的主要情况。
作者还将损失值定义为整体回归情况，并使用梯度下降算法对其进行优化，学习率为0.01。
3.2 梯度消失问题的求解
1、DIoU
2、CIoU
3、SIoU
Zhora证明了中心对准anchor box具有更快的收敛速度，并根据角度成本、距离成本和形状成本构造了SIoU。
角度成本描述了中心点连接（图1）与x-y轴之间的最小角度：
当中心点在x轴或y轴上对齐时，Λ = 0。当中心点连接到x轴45°时，Λ = 1。这一惩罚可以引导anchor box移动到目标框的最近的轴上，减少了BBR的总自由度数。
距离惩罚描述了中心点之间的距离，其惩罚代价与角度代价呈正相关。距离成本的定义为：
形状成本描述了边界框之间的大小差异。当边界框的大小不一致时，请使用Ω ≠ 0，并将其定义为：
与相似，它们都包括距离成本和形状成本：
由于对距离度量的惩罚随着形状成本的增加而增加，因此由SIoU训练的模型具有更快的收敛速度和更低的回归误差。
3.3、本文方法
由于训练数据不可避免地包含低质量示例，几何因素（如距离和纵横比）将加重对低质量示例的惩罚，从而降低模型的泛化性能。当anchor box与目标盒很好地重合时，一个好的损失函数应该会削弱几何因素的惩罚，而较少的训练干预将使模型获得更好的泛化能力。基于此，我们构建了距离注意力（方程17），并获得了具有两层注意力机制的WIoU v1：
通过III-A中提到的模拟实验，比较了没有FMs的BBR损失的性能。从图6的结果中有以下观察结果：
- 在现有工作中提到的一系列BBR损失中，SIoU的收敛速度最快。
- 对于BBR中的主要情况，所有的BBR损失都具有极相似的收敛速率。由此可见，收敛速度的差异主要来自于非重叠的边界框。本文提出的基于注意力的WIoU v1在这方面的效果最好。
1、Learning from focal loss
2、Dynamic non-monotonic FM
较小的异常度意味着anchor box质量较高。为其分配了一个小的梯度增益，以便将BBR聚焦在普通质量的anchor box上。此外，将小的梯度增益分配给具有大离群度的anchor box将有效地防止来自低质量样本的大的有害梯度。使用β构建非单调Focusing系数，并将其应用于WIoU v1：
4、实验
4.1、消融实验
将FMs应用于BBR损失，以研究FMs对附加损失的影响。这些BBR损失的版本2使用了γ = 0.5的设置，以与Focal-EIoU的单调FM对齐。
通过比较BBR损失的版本2和原始版本（表I），可以知道单调的FM对SIoU和EIoU的性能都有负面影响。由于这两种方法对距离度规的惩罚作用更强，因此在单调调频的作用下合成了更大的有害梯度。CIoU和WIoU v1对距离度量的惩罚较小，这使得它们有效地削弱了单调FM对有害梯度的放大。
通过比较BBR损耗的版本3和原始版本（表I），可以知道非单调FM可以有效地提高BBR损失的性能。对于每个BBR损失，都有一组唯一的参数，可以最大化这种性能增益。
此外，还比较了anchor box的回归结果（图5）。具有单调FM的WIoU v2受到低质量样本的影响，导致预测结果较差，WIoU v3受益于动态非单调FM，它有效地屏蔽了低质量样本的影响，并实现了理想的预测。
4.2、消融实验分析
在表一中，BBR损失的原始版本的性能排名为：EIoU > SIoU > CIoU > WIoU v1。这样的命令也符合对距离度量的惩罚的强度。然而，当应用FMs时，BBR损失的性能增益的顺序则相反。在进行的实验中，由WIoU v3训练的模型取得了最好的性能。
在训练过程中监测YOLOv7精度的变化（图9）。由于动态非单调调频，提出的WIoU v3在训练过程中有效地屏蔽了许多负面影响，因此模型的精度可以更快地提高。
将WIoU v3与最先进的BBR损失进行了比较，并获得了精度差异较大的几个类别（表II）。受益于识别低质量样本的能力，WIoU v3训练的模型大大提高了某些类别的精度。同时，该模型对飞机和长椅的精度也有所下降。
作者注意到，一些飞机的标签存在争议（图7），而一些被选择的飞机缺乏突出的特征，如机身。这些例子和低质量的样本一样难以学习，而这部分困难的样本被WIoU v3的FM抛弃了。此外，在板凳的标签上有大量的错误，也有大量的板凳没有被标注。这对于能够很好地推广和检测到更多长凳的模型来说是不公平的。
在有限的参数下学习适当的知识是实时探测器成功的关键。WIoU v3通过权衡对低质量样本和高质量样本的学习情况，提高了模型的整体性能。
5、参考
[1].Wise-IoU: Bounding Box Regression Loss with Dynamic Focusing Mechanism.
作者：小书童
文章来源：集智书童
推荐阅读
- 3D目标检测 | BEVDet系列源码解读
- TVM TensorIR与TE的Schedule介绍
- YOLO系列改进 | YOLOF的小小改进升级之轻量化TE-YOLOF
- 【BBuf的CUDA笔记】六，总结 FasterTransformer Encoder 优化技巧
- 李飞飞高徒教你从0到1构建GPT，马斯克点赞
- 【BBuf的CUDA笔记】五，解读 PyTorch index_add 操作涉及的优化技术
更多嵌入式AI干货请关注嵌入式AI专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
