Title: Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image
Paper: https://arxiv.org/pdf/2307.10984.pdf
导读
Figure 1 – Illustration and applications of our metric 3D reconstruction method.
将图像精确地重建为3D场景是一个长期以来的视觉任务。由于单目图像重建问题的尺度不确定性，大多数成熟的方法都是基于多视图几何。目前最先进的单目深度估计方法只能处理单个相机模型，并且由于尺度模糊性无法执行混合数据训练。而经过大规模混合数据集训练的最先进的单目方法通过学习仿射不变的深度实现了零样本泛化，但不能恢复真实世界的尺度。在这项工作中，论文表明零样本单目度量深度估计的关键在于大规模数据训练以及解决来自各种相机模型的尺度模糊性。论文提出了一个规范相机空间（canonical camera space）变换模块，明确解决了尺度模糊性问题，并且可以轻松地嵌入到现有的单目模型中。配备了论文的模块，单目模型可以在800万张图像和数千个相机模型上稳定地训练，从而实现了对室外图像的零样本泛化，其中包含未见过的相机设置。
贡献
本文的主要贡献是：
- 提出了一种规范（canonical）和反规范（de-canonical）相机变换方法来解决来自不同相机设置的深度尺度模糊性问题。这使得论文方法可以从大规模数据集中学习强大的零样本（zero-shot）单目度量深度模型
- 论文提出了一种随机提议正则化损失函数，有效提高了深度准确性
- 论文方法在第二届单目深度估计挑战中获得了冠军，论文的模型在7个零样本基准测试上达到了最先进的性能。它能够在户外进行高质量的3D度量结构恢复，并且在几个下游任务中受益，如单目SLAM、3D场景重构和测量学。
方法
尺度模糊性
图3展示了由不同相机在不同距离下拍摄的照片示例。仅从图像外观来看，人们可能会认为最后两张照片是由同一个相机在相似的位置拍摄的。但实际上，由于不同的焦距，这些照片是在不同的位置拍摄的。因此，相机的内部参数对于从单张图像估计度量是至关重要的，否则问题就是不适定的。关于传感器尺寸、像素尺寸和焦距，论文有以下观察结果：
传感器尺寸和像素大小不会影响度量深度估计
如图4所示，虽然由于像元大小不同，物体在图像的分辨率不同，但是距离是一致的。因此，不同的摄像机传感器不会影响度量深度的估计。
焦距对于度量深度的估计是至关重要的
如图4所示，由于焦距不同，不同距离的物体在相机上的成像大小相同，在网络训练的时候，被当作不同的标签进行监督，网络才会被混淆，影响训练
规范相机（Canonical Camera）变换
方法1：将标签进行转换
首先，图3中的模糊性是针对深度的。因此，第一种方法直接通过转换ground truth深度标签来解决这个问题。在训练阶段，通过乘以一个缩放因子来转换深度标签。在推理阶段，预测的深度处于规范化空间，需要进行反规范化转换以恢复度量信息。
方法2：将输入图像转换
第二种方法是将输入图像转换为模拟规范相机成像效果。具体来说，在训练阶段训练图像根据焦距按比例缩放resize，相机光心也进行了调整，然后进行随机裁剪图像用于训练。在推理阶段，反规范化转换将预测深度调整回原始大小而不进行缩放。
图2展示了论文的流程。在进行转换后，论文随机裁剪小块进行训练，裁剪只调整了视场和光心，不引起度量模糊问题。论文使用混合数据训练，收集了11个数据集，包含10,000多个不同相机的数据，所有训练数据都有配对的相机内参数，用于规范化转换模块。
监督
为了提高性能，论文提出了一种随机提议标准化损失（RPNL）。尺度平移不变损失被广泛应用于仿射不变深度估计，但它会压缩细粒度深度差异，特别是在近距离区域。因此，论文从真值深度和预测深度中随机裁剪若干小块，然后采用中位绝对偏差标准化对它们进行处理。这样，可以增强局部对比度。损失函数如下：
此外，还使用了其他几种损失，包括尺度不变对数损失（Scale-Invariant Logarithmic Loss）、成对标准化回归损失（Pair-wise Normal Regression Loss）和虚拟法线损失（Virtual Normal Loss）。总体损失如下所示：
实验
零样本泛化测试
如表1所示，在没有任何微调或尺度调整的情况下，论文的方法能够达到与训练了数百个epochs的SOTA方法相媲美的性能。
论文还使用了6个未见过的数据集进行更多的度量准确性评估，这些数据集包含各种室内和室外场景，相机模型也各不相同。与最先进的方法相比，论文的模型表现更加稳健，而现有方法在类似的数据集上性能下降明显。
与SOTA仿射不变深度估计方法在5个zero-shot基准上的比较。论文的模型明显优于以前的方法
下游任务应用
三维场景重建
论文在9个未见过的NYUv2场景上进行了定量比较。论文的方法与其他先进方法相比，在这些场景上能够实现更好的三维度量形状恢复。图6的定性比较显示，论文的重建结果噪声和离群点较少。
稠密SLAM
论文的度量深度估计方法可以作为单目SLAM系统的强大深度先验。在KITTI数据集上，将论文的度量深度直接输入到最先进的SLAM系统Droid-SLAM中，结果显示论文的深度使得SLAM系统的性能显著提升。在ETH3D SLAM基准数据集上，论文的深度同样带来了更好的SLAM性能，虽然改进效果相对较小。
户外测距
为了展示论文方法恢复的度量三维形状的鲁棒性和准确性，下载了由各种相机拍摄的Flickr照片，并从它们的元数据中收集了粗略的相机内参数。论文使用所提的CSTM图像模型重建它们的度量形状，并测量结构的尺寸（在图7中用红色标记），而真值尺寸用蓝色表示。结果显示，论文测量的尺寸非常接近真值尺寸。
总结
本文解决了从单目图像重构三维度量场景的问题。为了解决由不同焦距引起的图像外观深度不确定性，论文提出了一种规范化相机空间转换方法。使用论文的方法，可以轻松地合并由10,000个相机拍摄的数百万数据，以训练一个度量深度模型。为了提高鲁棒性，论文收集了超过800万数据进行训练。几个零样本评估展示了论文工作的有效性和鲁棒性。论文进一步展示了在随机收集的互联网图像上进行计量学测量以及在大规模场景上进行密集建图的能力。
作者：派派星
文章来源：CVHub
推荐阅读
- Meta AI开源力作 | SiLK：你真的需要这么复杂的图像关键点提取器？
- 大连理工联合阿里达摩院发布HQTrack | 高精度视频多目标跟踪大模型
- 大模型部署框架 FastLLM 实现细节解析（下）
- 大模型部署框架 FastLLM 简要解析
- 中科大联合上海 AI Lab 发布 FreeDrag: 无需点跟踪即可稳定拖动语义内容!
更多嵌入式AI干货请关注嵌入式AI专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
