在资源受限的无人机平台上，低延迟无人机图像的目标检测是一项重要但具有挑战性的任务。本文研究了基于稀疏卷积的检测头优化，证明了其在平衡精度和效率方面的有效性。然而，它存在着对微小目标的上下文信息的整合不足，以及在不同尺度的前景存在下对mask ratio的控制的问题。
为了解决上述问题，本文提出了一种新的全局上下文增强自适应稀疏卷积网络（CEASC）。首先开发了一个上下文增强的组归一化（CE-GN）层，将基于稀疏采样特征的统计数据替换为全局上下文特征，然后设计了一种自适应多层mask策略，以在不同尺度上生成最优mask ratio，实现紧凑的前景覆盖，提高了准确性和效率。
在VisDrone和UAVDT这2个主要基准上的大量实验结果表明，当插入具有竞争性能的典型最先进的检测框架（如RetinaNet和GFL V1）时，CEASC显著降低了GFLOP并加速了推理过程。
1、简介
深度神经网络（如细胞神经网络和Transformer）的最新进展显著提高了在公共基准（如COCO）上的目标检测性能。相比之下，为无人机平台设计检测器目前仍然是一项具有挑战性的任务。一方面，现有的研究热衷于设计复杂的模型，以在高分辨率无人机图像上达到微小目标的高精度，这在计算上很不划算的。另一方面，无人机配备的硬件往往受到资源限制，这对轻量级部署模型提出了快速推理和低延迟的迫切需求。
为了解决准确性和效率之间的平衡困境，学界做出了许多努力，主要是在通用目标检测上，基本上集中于降低骨干网络的复杂性。尽管有一些潜力，但这些方法仍有很大的改进空间，因为它们没有考虑到最先进的检测器广泛使用的重型检测头。
例如，以ResNet18为骨干，RetinaNet中具有512个输入通道的检测头的GFLOP占总GFLOP的82.3%。最近，已经提出了几种方法来解决这个问题，包括网络修剪和结构重新设计，并被证明在加速推理方面是有效的。
然而，当计算量大幅减少时，前者的性能急剧下降受到了批评，无人机的检测尝试证明了这一点，而后者主要针对低分辨率输入（例如640×640）进行了优化，使其无法直接适应高分辨率航空图像。
稀疏卷积显示了另一种有前途的替代方案，该方案通过可学习Mask仅在稀疏采样的区域或通道上操作卷积来限制计算。虽然理论上很有吸引力，但结果在很大程度上取决于有意义区域的选择，因为稀疏卷积中学习Mask的焦点区域容易位于前景内。
关于无人机图像，绝大多数目标的尺度都很小（如图1a所示），前景区域的尺度随着飞行高度和观测视点的变化而变化（如图1b所示），这一问题变得更加突出。不适当的Mask比会放大焦点部分，并且在背景上消耗更多不必要的计算，这往往会同时降低效率和精度。相反，夸大的会缩小焦点部分，导致难以完全覆盖前景和关键上下文，从而导致性能下降。
DynamicHead和QueryDet确实将稀疏卷积应用于检测头；不幸的是，它们的主要目标是在联合使用额外的特征图来提高一般目标检测的性能时，抵消增加的计算成本。它们都遵循了原始稀疏卷积的传统方式，即设置固定的Mask比或仅关注前景，因此远未达到无人机检测器所需的精度和效率之间的权衡。因此，利用稀疏卷积来促进无人机的轻量级检测仍然是一个悬而未决的问题。
本文中提出了一种新的即插即用检测头优化方法，用于无人机图像上的高效目标检测，即全局上下文增强自适应稀疏卷积（CEASC）。具体而言，首先开发了一种上下文增强稀疏卷积（CESC）来捕获全局信息并增强焦点特征，该卷积由具有上下文增强组归一化（CE-GN）层的残差结构组成。由于CE-GN专门保留了一组整体特征，并将其统计数据应用于归一化，因此它补偿了稀疏卷积造成的上下文损失，并稳定了前景区域的分布，从而避免了精度的急剧下降。
然后，提出了一种自适应多层掩蔽（AMM）方案，该方案通过在不同Level的特征金字塔网络（FPN）上最小化精心设计的损失，平衡检测精度和效率，分别估计最优mask ratio。值得注意的是，CESC和AMM可以很容易地扩展到各种检测器，这表明CEASC通常适用于现有最先进的目标检测器，用于在无人机图像上加速。
本文工作的贡献有3个方面：
- 提出了一种新的基于稀疏卷积的检测头优化方法，即CEASC，用于无人机的有效目标检测。
- 引入了上下文增强的稀疏卷积层和自适应多层掩蔽方案来优化mask ratio，在精度和效率之间实现最佳平衡。
- 通过将CEASC集成到各种最先进的检测器（如RetinaNet和GFL V1），在无人机图像的2个主要公共基准上广泛评估了所提出的方法，在保持有竞争力的准确性的同时，显著降低了计算成本。
2、本文方法
如图2所示，在给定基本检测器的情况下，整个CEASC网络旨在通过开发上下文增强稀疏卷积（CESC）来优化FPN中不同层的检测头，该卷积通过轻量级卷积模块和上下文增强组归一化（CEGN）层将焦点信息与全局上下文集成。设计了自适应多层掩模（AMM）模块，使模型能够自适应地生成具有足够mask ratio的掩模，从而在精度和效率上达到更好的平衡。
2.1、上下文增强的稀疏卷积
1、稀疏卷积
无人机图像上的大多数现有检测器都使用密集的检测头，对整个特征图进行卷积。尽管充分探索视觉线索有助于探测微小目标，但密集的头部需要更多的计算，这不适用于资源受限的无人机平台。
与此同时，前景区域只占据无人机获取的帧的一小部分，如图1所示，这表明密集的头部对背景进行了大量的计算操作，其中包含的对目标检测有用的信息要少得多。这一观察结果揭示了仅通过对前景区域进行计算来加速检测头的潜力。
最近提出了稀疏卷积（SC），它通过使用稀疏掩模来学习对前景区域的操作，并被证明在加速各种视觉任务的推理阶段方面是有效的。受他们的启发，作者构建了基于SC的网络。
由于基本检测器（这里以GFL V1为例）在检测框架中有一个分类头和一个回归头，考虑到它们通常关注不同的区域，这里为每个头分别引入了一个掩码网络。每个检测头采用4个Conv-GN-ReLU层和1个单独卷积层进行预测，其中用SC层取代传统卷积层。
2、上下文增强
如FGD所述，上下文线索（例如，目标周围的背景）有利于目标检测；然而，SC仅在前景上执行卷积，并放弃具有有用信息的背景，这可能会破坏整体准确性，尤其是在无人机图像中存在微小目标的情况下。为了解决这个问题，Stochastic sampling-interpolation network试图通过插值来恢复周围的上下文，但这是不可靠的，因为焦点和背景区域表现出很大的差异。
其中L是FPN中的层的数量。
2.2、自适应多层屏蔽
在没有任何额外约束的情况下，稀疏检测器倾向于生成具有大激活比（或小掩模比）的掩模以获得更高的精度，从而增加了总体计算成本。
为了解决这个问题，大多数现有的尝试都使用固定的激活比率。然而，由于航空图像的前景表现出严重的波动，固定比率容易导致计算的显著增加或由于前景区域的覆盖不足而导致精度的降低。为了在精度和效率之间进行权衡，作者提出了AMM方案来自适应地控制激活率（或反向控制掩模率）。
3、实验
3.1、消融实验
1、在CESC和AMM上
如表2所示，通过使用CESC组件，基础检测器节省了约70%的GFLOPs，运行速度快1.43倍，而精度没有任何下降，因为SC降低了复杂性，CE-GN层和残差结构补偿了上下文的损失。
通过采用动态掩模比获得紧凑的前景覆盖，AMM组件进一步提高了精度，提高了11.9%，同时节省了5.1%的GFLOPs。
需要注意的是，当直接应用没有CESC的SC时，GFL V1的训练过程变得非常不稳定，因此没有通过单独评估GFL V1上的AMM来提供结果。
2、关于在CESC中的详细设计
进一步评估了CE-GN的性能，并将其与未使用归一化的方法进行了比较，如QueryDet、GN、动态头，BN和IN。还报告了原始GFL V1的结果，表示为“Dense Conv.”。
如表4所示，CE-GN在未归一化的情况下显著提高了2.6%。与其他归一化方案相比，CE-GN的精度最好，分别比GN、BN和IN高出0.7%、2.6%和0.8%。值得注意的是，CE-GN在GFLOPs和FPS方面的效率也最好。
为了突出CE-GN的优点，我们将密集卷积和稀疏卷积产生的特征之间的余弦相似性可视化，其中CE-GN和GN分别对SC进行归一化。如图3所示，使用CE-GN的特征比使用GN的特征表现出更高的相关性，这表明CE-GN在增强SC的全局上下文方面的优越性。
为了对全局上下文进行编码，利用了point-wise卷积，并与现有的技术进行了比较，包括普通的3×3卷积、GhostModule，以及一些基于注意力的方法，如CBAM和Criss-Cross注意力。
如表5所示，point-wise卷积在检测精度上优于对应卷积。同时，在基于卷积的方法中，GFLOPs最低，在所有方法中FPS最高，明显显示了其在平衡精度和效率方面的优势。
3、关于AMM的详细分析
比较了AMM模块在VisDrone上的固定屏蔽比分别为0.50到0.95，在UAVDT上分别为0.50到0.975。如图5所示，在降低掩模比时，卷积中涉及的特征更多，导致计算成本更高，FPS更低。在此同时，可以看到检测精度对掩模比值很敏感，而掩模比值并没有随着比值的增加而持续提高。
此外，最优固定掩模比在不同的数据集上有所不同，例如VisDrone为0.9，UAVDT为0.95。相比之下，AMM自适应地确定了一个适当的掩模比，使基础检测器达到最佳的精度和最高的推理速度，证明了其必要性。
请注意，AMM以“逐层”的方式分别计算不同层的掩模比率。将其与“全局”版本进行了比较，后者估计了所有层的全局掩模比率。如表6所示，在mAP和FPS方面，“层级”方法明显优于“全局”方法。
原因在于，如图4所示，FPN不同层的最优掩模比不同，“层”方法比“全局”方法估计掩模比更准确，从而提高了精度和效率。
作者还在表7中评估了其在不同FPN层中的影响。通过较少的FPN层，GFLOPs和FPS得到了改进。放弃P6-P7的影响不大，因为它们的信息较少。去除P4会导致mAP的急剧下降，表明P4至关重要，这与可视化一致。
3.2、SOTA对比
原文：集智书童
作者： 小书童
推荐阅读
- 大连理工卢湖川团队TMI顶刊新作 | M^2SNet: 通用图像分割SOTA网络
- CVPR'2023 | Point-NN: 即插即用，无需训练的非参数点云分析网络！
- 【机器学习算法】1、线性回归——深层理解
- 追求极致：Repvgg重参数化对YOLO工业落地的实验和思考
更多嵌入式AI技术干货请关注嵌入式AI技术专栏。
迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
