Title: General, Single-shot, Target-less, and Automatic LiDAR-Camera Extrinsic Calibration Toolbox
Paper: https://arxiv.org/pdf/2302.05094.pdf
Code: https://github.com/koide3/
导读
本文介绍了一个开源的LiDAR-相机标定工具箱，适用于各种LiDAR和相机投影模型，只需要一组LiDAR和相机数据，无需标定目标，并且完全自动化。为了自动估计初始猜测，我们采用SuperGlue图像匹配流程，在LiDAR和相机数据之间找到2D-3D对应关系，并通过RANSAC估计LiDAR-相机的转换。在得到初始猜测后，我们使用基于归一化信息距离的直接LiDAR-相机配准来优化转换估计，归一化信息距离是一种基于互信息的跨模态距离度量。为了方便的标定过程，我们还提供了几种辅助功能（例如，动态LiDAR数据集成和手动进行2D-3D对应关系的用户界面）。实验结果表明，所提出的工具箱能够对旋转式和非重复扫描式LiDAR以及针孔式和全向式相机的任意组合进行标定，并且在标定精度和鲁棒性方面优于现有的基于边缘对齐的标定方法。
背景
基于激光雷达和相机的自动驾驶车辆在不同的环境中行驶，由于车辆的长期抖动，传感器的长时间运行的老化以及环境的变化，在车辆出厂时的多传感器外参标定结果会与实际外参发生偏差，此时车辆的多传感器需要重新进行标定，传统的标定方法如上图所示，厂家在车辆出厂时会将车辆放置在专门的标定房间进行标定。
基于激光雷达和相机的无目标自标定是一种另一种标定方法，用户无需将车辆返厂或者到4s店进行标定，其中激光雷达和相机在实际道路环境中进行自我标定，而不依赖于任何预先设置的标定板。
贡献
本文的贡献如下：
- 论文提出了一种基于2D-3D对应估计的鲁棒初始估计算法。为了利用最近的基于图神经网络的图像匹配技术，论文使用虚拟相机生成了一个激光雷达强度图像，并在激光雷达强度图像和相机图像之间找到对应关系。然后，通过RANSAC和重投影误差最小化给出了激光雷达和相机之间的变换估计。
- 为了实现鲁棒和准确的标定，论文结合了一种基于标准化信息距离（NID）和互信息（MI）的交叉模态距离度量的直接激光雷达-相机精细配准算法，以及一种基于视角的隐藏点移除算法，该算法过滤掉在相机视角下被遮挡且不应该可见的点。
- 整个系统被精心设计为通用于各种激光雷达和相机投影模型，以便可以应用于各种传感器模型。
方法
Fig. 2: Overview of proposed LiDAR-camera calibration process
预处理
对于旋转式激光雷达（如Ouster OS1-64），由于其扫描模式稀疏且重复，仅单次扫描难以提取有意义的几何和纹理信息，如上图a所示。为了解决这个问题，论文通过上下移动激光雷达并积累点云来补偿视角变化和点云畸变。使用CT-ICP算法估计激光雷达的运动，并通过最小化当前扫描与插值激光雷达姿态的模型点云之间的距离来优化姿态。
对于非重复扫描的激光雷达（如Livox Avia），论文将所有扫描累积到一个框架中得到稠密点云。
标定初始值估计
快速LiDAR-相机配准，使用基于SuperGlue的图像匹配pipeline。具体来说，论文首先通过RANSAC和重投影误差最小化获得2D-3D对应关系，然后通过RANSAC和重投影误差最小化来估计激光雷达和相机之间的外参变换。为了利用图神经网络的图像匹配，论文使用虚拟相机模型从密集点云生成如上图所示的LiDAR强度图像（通过选择最佳投影模型来渲染整个点云，估计LiDAR的视场）并生成点索引map以在随后的姿态估计步骤中有效地查找像素级的三维坐标。尽管论文没有进行插值和间隙填充，但渲染结果具有良好的外观质量。
论文使用SuperGlue流程找到LiDAR强度图像和相机图像之间的对应关系。它通过SuperPoint检测关键点，并使用图神经网络找到它们之间的对应关系。预训练的权重在MegaDepth数据集上。匹配阈值设置较小以获取足够的对应关系，但可能会导致错误的对应关系产生，如上图所示。
标定值细化
为了解决LiDAR点云与相机之间的匹配问题，论文采取了两个步骤。首先，通过隐藏点移除方法，过滤掉在相机视角下不可见的LiDAR点，以避免误匹配的问题。然后，基于NID指标进行直接的LiDAR-相机配准，将LiDAR点云转换到相机坐标系，并与图像进行匹配，从而实现精确的配准。
实验
表I总结了Ouster LiDAR和针孔相机组合的标定结果。对于初始猜测估计，如果平移误差小于0.5米，旋转误差小于1.0°，论文认为初始猜测估计是成功的。提出的算法对于12个数据对提供了合理的初始猜测。精细配准算法在所有数据上表现良好，平均校准误差为0.043米和0.374°。与此相比，基于边缘对齐的方法在某些数据对上显示出较大的校准误差，平均校准误差为0.236米和1.329°。这是因为其边缘提取对环境变化敏感，无法正确提取边缘点。
Livox LiDAR和pinhole相机的组合在表II中展示了较好的初始估计和精细配准结果，平均标定误差为0.069米和0.724°，优于基于边缘的校准方法的结果。
表III总结了全景相机的标定结果。对于Ouster LiDAR，初始估计成功率高且校准误差低。然而，Livox LiDAR和全景相机的组合下，初始估计成功率下降且校准误差较高。这可能是因为全景相机图像仅覆盖了一小部分环境，并且分辨率不足以表示细节。使用更高分辨率或多个图像可能可以改善校准准确性。
最终，我们使用多数据进行了标定，并评估了所有LiDAR-camera组合的误差。Ouster LiDAR和针孔相机的组合获得了最佳校准精度（0.010 m和0.132°），而Livox和全景相机的组合也取得了良好的结果（0.011 m和0.400°）。
根据 LiDAR 和相机模型的不同组合，标定 LiDAR 相机变换所需的时间介于 74 到 249 秒之间。Ouster LiDAR 和全景相机的组合需要更长的时间，因为两个传感器都具有 360° 的视场，需要投影大部分点云。这些处理时间在离线校准中是可接受的
总结
论文开发了一个通用的 LiDAR 相机标定工具箱。在完全自动的标定过程中，论文使用基于图像匹配的初始估计。然后，通过基于 NID 的直接 LiDAR-相机配准算法对初始估计进行了精化。实验结果表明，该工具箱可以准确地标定旋转和非重复扫描 LiDAR 与针孔相机以及全景相机之间的外参变换。
作者：派派星
文章来源：CVHub
推荐阅读
- 全新AFPN出现 | 完胜PAFPN，堪称YOLO系列的最佳搭档
- 最强DETR+YOLO | 三阶段的端到端目标检测器的DEYOv2正式来啦，性能炸裂！！！
- MobileSAM来啦 | 比SAM小60倍，比FastSAM快4倍，速度和效果双赢
- YOLOv8太卷啦 | YOLOv8官方仓库正式支持RT-DETR训练、测试以及推理
- 软硬协同优化 (1)：高层综合编译技术
更多嵌入式AI干货请关注嵌入式AI专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
