ICCV2023 SOTA U-BEV：基于高度感知的鸟瞰图分割和神经地图的重定位

论文标题：U-BEV: Height-aware Bird's-Eye-View Segmentation and Neural Map-based Relocalization

1. 本文概览

高效的重定位对于GPS信号不佳或基于传感器的定位失败的智能车辆至关重要。最近，Bird’s-Eye-View (BEV) 分割的进展使得能够准确地估计局部场景的外观，从而有利于车辆的重定位。然而，BEV方法的一个缺点是利用几何约束需要大量的计算。本文提出了U-BEV，一种受U-Net启发的架构，通过在拉平BEV特征之前对多个高度层进行推理，扩展了当前的最先进水平。我们证明了这种扩展可以提高U-BEV的性能高达4.11%的IoU。此外，我们将编码的神经BEV与可微分的模板匹配器相结合，在神经SD地图数据集上执行重定位。所提出的模型可以完全端到端地进行训练，并在nuScenes数据集上优于具有相似计算复杂度的基于Transformer的BEV方法1.7到2.8%的mIoU，以及基于BEV的重定位超过26%的召回率。

图1:，U-BEV 提出了一种新的环境图像 BEV 表示方法，在 SD 地图数据中实现了高效的神经重定位。

2. 方法详解

A. Bird眼视角重建

我们利用这个离散化的高度预测根据在每个bin中的可能性对每个特征进行加权。

投影:我们将更深层的特征投影到更粗糙的BEV中，将更早期的高分辨率特征投影到更高分辨率的BEV中。这允许我们以经典的编码器-解码器方式上采样BEV，其中更详细的BEV充当跳过连接(图4中的绿色部分)。

图4:U-BEV模型架构。(a)预训练的backbone(蓝色)从汽车周围的所有6个摄像头中提取特征。第一个解码器(橙色)预测每个输入图像上的每个像素的高度。这个高度用于将每个摄像头的特征投影到3D空间的单个BEV中(绿色)。更深层的特征被投影到较低分辨率的BEV中,然后以编码器-解码器方式上采样(黄色),具有跳跃连接。(b)说明从环视图像和高度到不同BEV层的投影操作。

我们应用经修改的逆投影映射(IPM)将图像坐标中的特征展开到BEV坐标中(参见图4 b)。要从像素，投影每个特征，我们使用已知的外在投影矩阵和相机的内在参数。要在高度处投影，我们利用矩阵形式的翻译变换将参考系统提升到所需高度，并在处执行标准IPM。

IPM公式将这些变量相关联为:

这种形式方便地允许删除矩阵的第三列，这使我们能够对其进行求逆并求出，。该操作可以在GPU上对所有特征并行化，并在所有高度上执行，从而产生一个占用体积。

BEV解码:最后，我们用两个卷积层挤压高度维度的每个BEV。通过保持分辨率和通道的比率不变，我们可以将它们与跳过连接一起插入经典的解码器样式，产生最终的BEV输出(图4中的黄色部分)。

B. 地图编码

地图以布尔型通道离散化表面栅格化的形式输入到我们的系统中，其中是类的数量，即每个语义类被分配一个独立的通道。在多边形表示的情况下，如自动驾驶SD地图中的常见情况，我们通过将每个类的多边形栅格化到通道来预处理地图。

C. 定位

为了进行定位，我们利用本地BEV 和给定粗略位置先验裁剪的全局地图平铺。

给定拟议的U-BEV模型重建的BEV与地图平铺在比例上相符合，定位通过模板匹配来实现。为了补偿本地BEV重建的不完美，定位模块从地图平铺和本地BEV中提取神经表示，并在地图平铺上构建概率图。

在特征空间匹配神经BEV预测和神经地图增强了定位模块对本地BEV中的错误和不完美的鲁棒性，这可能是由于遮挡或者在定位场景中感知降级(例如，照明不足或恶劣天气)引起的，以牺牲分辨率为代价。

我们应用二维softmax $ tilde{M} = text{softmax}_ {2D}(M_ {prob}) 将其用作概率分布。我们通过在x和y$方向上执行soft-argmax提取预测，其中

3. 实验结果

本文的实验结果主要涉及BEV分割和重定位的性能比较。在BEV方面，作者使用了U-BEV和CVT两种方法进行比较，通过计算IoU来评估两种方法在不同类别的地面、路面和十字路口上的表现。实验结果显示，U-BEV在所有类别上的IoU表现均优于CVT，并且在路面和人行道分割上的表现提升尤为明显。此外，U-BEV相较于CVT具有更低的计算复杂度，可实现相当的性能提升。在重定位方面，作者通过比较不同方法在不同距离的召回准确率(1m, 2m, 5m, 10m)上的表现，发现U-BEV相较于其他基于BEV的方法和当代基于BEV的重定位方法，在10m上的召回准确率提高了26.4%。总的来说，实验结果证明了U-BEV方法在BEV分割和重定位方面取得了更好的性能表现。

表1:以1米,2米,5米,10米处的召回准确率为指标的定位结果。

表2: U-BEV和CVT的BEV性能IoU。mc表示多类模型,w/o H表示不带高度的模型。

图5:U-BEV的输入和输出示例,包括环视图像,预测高度和预测和真值BEV。与CVT相比,U-BEV更准确地重建了可驾驶表面和人行道。

图6 定位过程的输入和输出示例，包括环绕图像、局部BEV、局部BEV和地图块的神经编码、预测的可能性以及结果的可视化。在可视化中，蓝十字为地面真实姿态，红十字为预测姿态。

4. 结论

本文提出了一种新的U-Net启发的BEV架构“U-BEV”，它利用多个高度层的中间分割。该架构在分割性能上优于现有的基于Transformer的BEV架构1.7到2.8%的IoU。此外，我们提出了一种新颖的重定位方法，利用拟议的U-BEV与神经编码的SD地图进行匹配。重定位扩展显著优于相关方法，在10米内的召回率提高了26.4%以上。值得注意的是，仅需要地图数据的几个类别，特别是道路表面，为在无特征环境中重定位铺平了道路。

作者：lovelypanda
文章来源：GiantPandaCV

推荐阅读

更多嵌入式AI干货请关注嵌入式AI专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。