大势智慧 · 2021年09月07日

智能去车模式:解决三维场景重建中的移动车辆问题

在超大规模实景三维数据生产中,三维模型质量会受到移动物体这类客观因素的影响,常常造成道路模型严重扭曲以及纹理的错位。

1.三维场景重建中的移动车辆问题

车辆作为日常出行重要的交通工具,会出现在城市场景中的各个角落且不断移动。由于车辆处于移动中,因而建模时会导致匹配困难,最终会造成模型几何变形严重、道路纹理映射错误这类问题。如下图所示:
1.jpg

交通繁忙的十字路口

以往解决此类问题,通常采用全人工或半人工的方式对重建后的三维场景模型进行手动修复(主要针对几何结构和纹理影像这两方面的修复),但这个修复过程会耗费大量人力物力,从而严重影响生产效率。因此,如何消除移动车辆对三维模型质量的影响是一个非常重要且具有实际价值意义的问题。

2.重建大师推出:智能去车模式

针对上述问题,大势智慧研发的重建大师软件提供了一种高效便利的解决方案——智能去车模式。

智能去车模式可以消除影像中运动车辆带来的几何失真、纹理扭曲变形现象,最大限度的保持三维模型表达的真实性和准确性。

智能去车模式主要包括以下步骤:

(1)移动车辆的标记

① 基于深度学习的影像中车辆信息的识别:利用目标检测R-CNN模型对影像进行车辆信息的识别,得到每张影像所对应的车辆信息标记。

② 基于多视图约束的移动车辆的判定:根据已生成的三角网格模型(3D Mesh)中各三角面在可视影像集合中的投影位置,结合影像所标记车辆的对应范围,统计各三角面的类别信息判定在数据采集的时间段内影像所识别车辆是否发生过移动。

(2)三维场景的修复

① 几何修复:剔除移动车辆所标记的三角面并填补,修复移动车辆造成的几何模型的扭曲变形。

② 纹理修复:剔除移动车辆造成的三维模型纹理信息的错误选取。

3.智能去车模式具体操作流程

(1)在实景三维浏览器(DasViewer)中可以查看大面积模型产品,人工挑选出由于移动车辆所导致重建质量较差的瓦片,保存选择集;

2.jpg
(2)在产品界面中,导入瓦片选择集,自动选中对应瓦片;
3.jpg

(3)右键点击【重新提交】,扩展功能勾选【去车模式】,重跑部分瓦片,结束后即可查看去车后模型效果。
4.jpg

4.智能去车效果案例分析

以下为两个路口区域实景三维数据的案例,可以帮助我们更加简单直观的了解重建大师智能去车模式的作用与优势。

5.jpg
案例图:十字路口区域
6.jpg
案例图:丁字路口区域
对比上述两幅案例图,我们可以清晰的看到:智能去车模式下重建的三维场景,可将移动车辆去除干净,同时对三维场景中的几何与纹理进行修复,视觉效果美观真实。

根据测试数据统计,智能去车模式下移动车辆识别率高达95%,去车率高达85%。与此同时,我们针对重建大师的智能去车模式做了性能测试,硬件参数为:CPU: Intel i7-6950X,3.0GHz/内存:64G/GPU: RTX 2070,测试结果如下表所示:

7.jpg
表:重建大师智能去车模式效率比对
可以发现:相较于一般的重建模式,智能去车模式下重建时间平均增加8.8%。虽然存在一定的性能损失,但智能去车模式可以将人工修模成本减少约80%。

5.结语

重建大师的智能去车模式降低三维场景重建过程中移动车辆对重建结果质量的影响,经过智能去车模式修复后的模型几何立体鲜明、道路纹理清晰、呈现效果真实。不仅如此,这一模式的出现大幅度地减少以往人工修模工作,节省大量人力与物力成本,提高生产效率。

推荐阅读
关注数
1
文章数
10
构建未来世界的时空基础
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息