元矿山下的音视频应用

近年来，矿业的技术和管理模式随着元宇宙的火爆和自动驾驶技术的发展逐渐变化、升级，进而衍生出元矿山的概念，音视频技术也在其中成为了关键一环。LiveVideoStackCon 2023 上海站邀请了来自希迪智驾的任思亮，为大家分享希迪智驾的元矿山建设历程以及音视频技术在元矿山体系中的应用。

文/任思亮

整理/LiveVideoStack

大家好，我是来自希迪智驾的任思亮，主要从事自动驾驶技术研发和产品的落地。大家对希迪智驾可能还比较陌生，因此接下来先对我们的企业进行一个简要介绍。

-01-

企业介绍

希迪智驾成立于2017年，又名长沙智能驾驶研究院有限公司，它是由大疆创新前董事长李泽湘教授创立的一家独角兽公司，云鲸科技、正浩EcoFlow和Zuvi原里等企业同为李教授创业体系下的孵化公司。

希迪智驾当前的员工规模超过500人，其中研发团队占比近70%，团队博士、硕士占比超过40%，是一家以技术研发为核心驱动力的科技公司。

我们的主营业务围绕自动驾驶板块，涵盖园区物流车、清扫车、港口集卡和矿用卡车等封闭环境下法定允许的无人驾驶技术以及保障无人车辆安全的智能V2V、V2X车联网技术。

-02-

元矿山介绍

近两年矿用卡车自动驾驶需求的增长催生了希迪智驾的云矿山理念。而无人驾驶矿卡的诞生具体要从一场社会事件说起。大家可能对2023年2月内蒙古阿拉善左旗新井煤矿的坍塌事故有所了解，至今还有47名工友被掩埋在几十米深的地下。

传统矿业在占据国民经济重要地位的同时，也存在高风险、高能耗、从业者老龄化和工作效率低等挑战。

希迪智驾在充分调研矿业当前痛点的基础上推出了自主研发的无人驾驶纯电矿卡，它结合智能调度系统、V2X车路协同系统和远程驾驶系统等技术助力智慧矿山建设，也是希迪智驾元矿山体系的主要组分。上图展示了我们正式向江苏省句容市台泥矿区交付的14辆实车。

自2022年9月起，句容矿区实现常态化无安全员生产作业。

我们的无人驾驶矿卡是全国唯一经国家计量科学院认证超过人工效率的自动驾驶系统。按单车的装载量计算，它的自动驾驶效率是人工的1.04倍。

综合考虑车辆维护、能源、人工等因素，有人驾驶柴油矿卡的运行成本是自动驾驶的8.6倍。

上图展示了我们的元矿山“车-路-云”整体解决方案，从挖掘机装载、矿产运输、破碎站卸载到停车场充电一整套流程全部实现了无人化。该方案的落地使20到30人规模的传统矿场可将运营人员压缩至2到3人，无人化车辆的日常管理工作可以全部在调度中心完成。

上图展示了无人矿卡动态装载的实地演示效果，车辆可随着矿场挖掘作业面的不断变化动态调整装载停车位置，这也是元矿山体系的关键环节。

运输过程中，无人车辆的均匀碾压功能可以避免重复碾压路面造成深车辙，有利于保持道路平整，降低维护成本。

相对于传统矿场，元矿山无人矿卡支持全天候自动驾驶运行，进一步提高了工作效率。

在音视频技术运用方面，首先为了应对自动驾驶可能难以处理的少数场景，我们借助腾讯云的低延时传输协议落地了远程驾驶方案，可使驾驶舱端到车辆的指令延时低于100毫秒，保证舱端操作员基本感受不到延迟。

该方案还包括一键修坡，动态归位、防碰撞等L2级驾驶功能，舱端的显示器应用了我们自研的裸眼3D算法，可以逼真显示车身前方的障碍环境，有助于提升工作效率。

除了矿卡外，该方案还可应用于挖掘机、钻机、转载机或炸药安放机器人，进一步保证生产安全，实现作业无人化。

接下来展示几个远程驾驶的实际运用场景。如上图所示，车辆自动行驶中如果遇到无法避让的障碍物，则可切换为远程驾驶模式处理。

上图展示了无人驾驶技术在甘肃金川二矿地下1000米环境下的实际应用，驾驶员可通过远程驾驶舱屏幕实时掌握车辆位置，保证了安全生产。

结合V2X车路协同和自动驾驶技术，我们在重庆涪陵大业建材矿山落地了30台无人驾驶纯电矿卡与有人车的混编生产运输。充分运用V2X系统的感知能力，可以实现无人车辆在封闭环境下L3、L4，乃至L5级自动驾驶。

上图展示了远程驾驶技术在清扫车和港口集卡场景的应用。

类似VR眼镜之于元宇宙，我们希望远端驾驶舱也能成为元矿山的入口，从而助力改善工作环境。

通过自动驾驶+远程驾驶，我们希望年轻人可以“舒适、游戏化”地进行远程工作，解决传统矿业高风险、招工难等等问题。

音视频技术在元矿山体系中的第二个应用为网页直播，它主要用于对外宣传、客户讲解和矿场无人监控等等场景。上图为无人监控场景的演示效果，运营人员通过监控画面可实时查看车辆前方环境、行驶轨迹、速度、档位、装载模式和运输里程等等信息，其中左图黄线代表的行驶边界可借助车身雷达动态探测现场环境进行实时更新。

音视频技术在元矿山体系的第三个应用为图像识别。不同于特斯拉运用图像识别进行车载决策，我们更多将其用于增加车辆的安全冗余，通过毫米波雷达、激光雷达、视觉、超声雷达等多种传感器感知融合，综合几种传感器的优势实现车身360度范围，前方100米的行人、车辆和石块等障碍物稳定感知。

如上图所示，我们通过融合2D视觉图像和3D SLAM点云建图完成障碍物识别，有效节约了CPU资源。

上图展示了图像识别的实地效果，受矿区灰尘和雾霾等恶劣天气因素影响，它并不是主要的障碍物识别手段。雾霾等恶劣天气下的图像识别检测也是我们当前面临的一大技术挑战。

我们的360度智能环视系统可实时采集车身周围的高清视频画面形成三维全景图，同时可检测弱势交通参与者并分级预警，提供行车轨迹指引，保证行车安全。

音视频技术在元矿山体系的第四个应用为视觉定位。它类似于前面提到的融合感知，针对隧道等传统GPS+IMU方案难以精准定位的场景，通过摄像头预扫描环境特征并建立SLAM点云地图，依据车辆行驶时与周围特征点的位置关系来实现定位。但该方案在高速公路等车辆两侧景物高度相近的场景下并不适用，实际工作中我们一般采用GPS+IMU、RTK差分定位和视觉定位的组合方案。