小凡 · 2020年10月21日

三维重建的定位定姿算法

转载自:计算机视觉工坊
作者:李城

3D视觉的核心问题是恢复场景结构、相机位姿、和相机参数,而解决方式有两种,一种是off-line的sfm(structure from motion),一种on-line的slam(simultaneous localization and mapping)。Slam 与sfm的区别在于,大多数slam系统是需要提前标定相机,而sfm 则不需要提前标定(通常所说的三维重建和slam的区别,严格意义上应该是sfm 和slam的区别)。

image.png

Sfm 可以分为以下几类:Global SfM、Incremental SfM、Hybrid SfM、Distributed SfM,这里主要讲解Global SfM和ncremental SfM(主要集中在global sfm)。

一、Global SfM workflow:

image.png
Global sfm 的内容包括rotation averaging 和anslation averaging。

Rotation averaging

观测值 一组相机pose的相对rotation

目标 计算相机的绝对旋转

优化 L2范数,采用L2范数的原因有两个:1)估计一个好的旋转初始值 2)收敛快

理论基础:

image.png
translation averaging

观测值:同rotation averaging 一样,观测值是两一组pose之间的相对translation

目标:计算相机的绝对旋转

优化:L1范数,原因是L1 范数对噪声鲁邦

理论基础:

image.png

Translation averaging 在global sfm 中计算困难,原因如下:

1、 两视图之间的运动不能恢复尺度(tvec 是从本质矩阵中恢复出来的,但是本质矩阵的秩是5,不包含尺度,所以global sfm 是属于三焦张量问题,即是至少tack 3帧才能进行运算。同时,global sfm 容易出现退化现象,当相机都处于同一条线上时候,对于无人机图像来说,这个时候轨迹就会出现bending map。

解决bending map 的手段有三点:

(1)提前对相机标定

(2)以无人机为例,飞行航线不要在恒定高度上飞行

(3)融合其他传感器,如gps 位置约束等

退化的case 如下:

image.png

image.png

     以上分别为侧面图和俯视图

以上结果是fusion low-cost gps的效果,但是依旧可以看出有弯曲的现象(不融合的效果特别差)

飞行方式改变,fusion low-cost gps,退化现象消失,如下:

image.png

2.png

从侧面图和俯视图可以看出,当飞行方式发生改变,global sfm 退化现象消失。

2、 global sfm translation averaging第二个的痛点是对噪声敏感,其不像Incremental sfm,不断的ransac 和local ba 来减少bad EGs的影响。

如何去改善global sfm 的鲁棒性:

1)如果rotation 是已知的(不够精确),提供global rotation初始值给global sfm pipeline ,利用这些初始值在BA中增加relative rotation constraint

2)如果位置已知,sfm 增加位置约束,即最小化先验位置和估计的位置之间的gap,位置约束可以替代slam回环(如果是low cost gps ,位置约束不能保证精度,但可以起到一个control strcture 的作用(AR 常用)—参考vins-fusion思想 ,这个openmvg 中已经实现位置约束。

二、Incremental SfM workflow:
image.png
增量sfm这里不准备太多的叙述,需要注意的是初始化选择像对的基准:
enough matching
big baseline
三、global sfm和incremental sfm 优缺点和应用场景
image.png

应用场景:

1.当考虑速度不考虑精度的时候,并且当图像overlap 比较大的时候,用global sfm 可以达到理想效果,因为有更多的数据去average(Feature track based translation averaging)

2.如果考虑精度,选择Incremental sfm ,但是在大场景下,incremental sfm会随着图像的增多,速度越来越慢,同时由于误差的累计,会出现drfit ,这种情况下可以采用Distributed SfM。

参考文献 :

1.Rotation Averaging and Strong Duality[J].Anders Eriksson
2.Global Structure-from-Motion and Its Application[R]
3.Linear Global Translation Estimation with Feature Tracks[J].Zhaopeng Cui

本文仅做学术分享,如有侵权,请联系删文。

推荐阅读

重点介绍:1、3D视觉算法;2、vslam算法;3、图像处理;4、深度学习;5、自动驾驶;6、技术干货。 博主及合伙人分别来国内自知名大厂、海康研究院,深研3D视觉、深度学习、图像处理、自动驾驶、目标检测、VSLAM算法等领域。
欢迎关注微信公众号
3D与Slam 二维码 极术.jpg
推荐阅读
关注数
1100
内容数
100
专注于3D视觉,Vslam,图像处理等,欢迎关注
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息