详解舱内感知技术

本文大纲：

1、概述

2、 OMS

3、DMS

4、行车记录仪

5、360环视

6、流媒体后视镜

一、概述

相比起用于ADAS感知系统的摄像头，用于智能座舱内部的摄像头，其功能特性和性能要求相对简单。例如，OMS乘客监控摄像头，一般达到5MP即可有良好的效果。同时，OMS也可应用于车内会议系统，还应用于车内儿童检测。DMS驾驶员监测系统，SVC 360环视摄像头，DVR行车记录仪，均为自动驾驶域ADC与智能座舱域CDC共用的摄像头。下文将简要介绍这些摄像头。

对于车载摄像头来说，它的特点在于摄像头的安装位置，和ISP处理芯片之间的距离。在2MP以下的摄像头，一般会直接输出YUV格式的图像数据，无需额外的ISP进行图像处理。而2MP以上，则摄像头会输出raw原始数据，需要有独立的ISP进行摄像头图像格式处理。由于摄像头使用数目很多，如果每个摄像头都安排一个ISP，那么成本将非常巨大。因此需要将ISP安排在CDC座舱控制器内部，而通过高速传输线缆将摄像头的raw数据传送到集中式的ISP来进行处理。此时就需要使用高速视频传输总线。

如同高速音视频传输接口章节所描述的一样，此时一般使用GMSL或者FPDlink，实现远端Camera的raw数据传输到CDC中来。未来还可能采用的技术有Mipi-A phy 和ASA。此时Serdes芯片一般成对设置，在摄像头端集成有serializer chip；在CDC端则设计有desilizer chip；它们之间的距离可以长达10米，最长不超过15米。

作为Camera传输的桥接芯片和传输数据线，可以参考如下图片了解：

二、 OMS

OMS(Occupant Monitor System) 乘客及后座检测系统的简称。在法规上，已经有不少地区和国家在立法要求进行车内儿童检测。欧洲NCAP计划从2023年1月起增加对车内儿童存在检测的评分，各项规定非常细致。美国正在立法要求所有新车预装儿童存在检测功能，预计在2025年全面实施。据说国内相关规范也在评估制订中。

OMS摄像头可以在一定程度上满足车内儿童存在检测的要求。为了提高检测的准确性，甚至还要求增加生命体征检测雷达(UWB或者毫米波雷达)。从目前的实践来看，一般在前排后视镜位置布置一颗5MP，甚至8MP的OMS主摄像头；在第二排第三排座位上方增加2MP的后排OMS。通过人脸识别，动作捕获，活体检测等AI算法的应用，OMS可以提升智能座舱车内的感知。

OMS还可以为如下应用功能提供支持：车内视频会议系统；安全支付系统；人工智能助手融合感知系统等。
为了保证在座舱环境内任何光照强度下都能正常使用，OMS一般要求支持RGB-IR，可见光和红外光双波段工作模式，同时需要布置红外补光灯。在夜间可以采用IR红外光进行检测；在白天采用RGB可见光进行工作。

2.1 TOF

TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非嵌入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同的3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。

由于TOF采用多点发射和测量的方法来计算并得出深度信息，因此它的特点是分辨率低，功耗高。受激光发射点的限制，其分辨率一般不会超过640*480，功耗却是结构光的十倍以上。

2.2 双目结构光+RGB

双目结构光采用的是双目立体视觉的技术，它模仿人眼的左右视差，用2个红外摄像头从左右两个方向获取被测物体的两幅图像，然后计算图像对应点之间的偏差，采用三角测量的方式计算得出视差图，再转换为3D深度信息。在这里的结构光，指的是红外投射器会投出一个简单的红外光点阵，用来增强物体表面的纹理，然后再由IR摄像头拍摄物体图像，利用算法进行后期计算处理。

双目立体视觉系统的四个基本步骤：

1 相机标定：主要包含两部分内容: 单相机的内参标定和双目相机的外参标定，前者可以获得每个相机的焦距、光心、畸变系数等参数，后者可以获得双目相机之间的相机坐标系的旋转、平移关系。

2 立体校正：该过程是根据相机的标定结果，对两个相机采集到的原始图像进行校正，校正后的两张图像位于同一平面且互相平行，即图像的每行像素之间共线。

3 立体匹配：该过程是根据立体校正后的图像，进行像素点的匹配，匹配成功的点表示真实世界中的某点在这两个图像中的不同位置。

4 深度计算：对立体匹配后得到的2幅图，利用三角测量法逐个计算每一个像素点的视差，得到视差图后，再转换成为深度图。

双目的优点是硬件资源需求低，只要2个普通的IR相机，搭配一颗带DSP的SOC芯片即可计算获取深度图。但它的缺点是必须配置双目，并要求具有一定的基线长度，因此它的安装环境受限。

2.3 单目结构光

结构光，英文叫做 Structured light，基本原理是通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线(激光散斑)，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。简单来说就是，通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。

相对于TOF，结构光的功耗较低，因为它只需要投射一小块区域就可以满足要求。它的分辨率和精度都高于TOF，且成本也比TOF低。相比双目结构光，单目结构光的基线可以做得较小，方便布置在车内环境中。并且它在低光照条件下仍然可以使用，更适合车内环境。

2.4 OMS视觉方案

在智能座舱内部的感知系统中，OMS发挥出巨大的作用和优势。在语音识别之外，多模态识别对视觉感知的需求越来越高。其中，增加了深度信息的手势识别，人脸面部表情识别，情绪识别，口语识别等功能将给车载AI助手赋予更高的智能，提升了智能座舱的用户感受度，给予了良好的体验。

对上述感知摄像头方案进行比较，除了不带深度信息的单目RGB+IR之外，其余3种都是深度相机的可选项。

双目结构光+RGB方案，最大的问题在于实现算法需要很高的计算资源，导致实时性很差，而且基本跟分辨率，检测精度挂钩。也就是说，分辨率越高，要求精度越高，则计算越复杂，同时，纯双目方案受光照，物体纹理性质影响。所增加的RGB摄像头只有1路，主要用于与深度图的对比显示。

TOF方案，由于硬件条件限制，其分辨率较低，感知精度低于结构光和双目立体方案。需要多点激光发射，硬件成本高，但是它的算法复杂度低，实时性高，可达120帧率，并且硬件计算资源需求较低。

单目结构光方案，目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出，该方案解决了大多数环境下双目的问题。但是，在强光下，结构光核心技术激光散斑会被淹没，因此，在阳光强烈的时候，可能会失效。

三、DMS

DMS(Driver Monitor System)驾驶员监测系统的简称。指在驾驶员行驶过程中，全天候监测驾驶员的疲劳状态，危险驾驶行为等。在发现驾驶员出现疲劳，打哈欠，眯眼睛，抽烟，接打手持电话等行为后，DMS系统及时的对此类行为进行分析，并进行语音和灯光等提示，起到警示驾驶员，纠正错误驾驶行为的作用。

由于DMS主要用于驾驶员异常行为的监测，因此它主要属于ADC自动驾驶域，而不属于CDC智能座舱域。但是DMS一般安装在舱内A柱下方，直接面对驾驶员的面部，因此也可以算入智能座舱内部的摄像头之一。

DMS一般采用2MP的红外摄像头，无需采用RGB工作模式。它所拍摄的画面，需要让“机器”能够看得清，让AI算法对驾驶员的状态分析准确；而无需让“人”看得舒服。因此，DMS只要求到2MP的像素分辨率即可，并且需要红外补光摄像头，保证在任何光照条件下都能够让机器看清楚驾驶员的面部特征。

需要注意的是，DMS和OMS都具有红外补光灯，因此需要设计专门的红外灯同步信号，确保DMS和OMS的补光灯不能同时工作，以避免产生过曝现象。

DMS感知算法的进一步提升，还包括眼动跟踪，面部表情，情绪监测等。与人工智能助手相配合的多模态识别，还将包含口型检测等进一步的AI识别算法得到应用。

四、行车记录仪

车载DVR，即Digital Video Recorder，也正是行车记录仪。在DVR的功能当中，分为车载前装DVR和后装DVR。后装DVR一般是独立的行车记录仪设备，它使用音视频编码技术，将DVR自带的摄像头数据进行转换和压缩，保存在DVR的存储设备中。由于后装设备无需满足车规标准，在汽车出厂时也不包含此设备，需要在汽车配件市场进行后期安装，因此它可以采用消费级的电子芯片，其可靠性也远远达不到车规级的要求。

前装DVR则需要满足车规级标准，在汽车出厂时就已经安装完毕，它的使用年限和可靠性都需要按车规电子的标准来要求。

通常，前装DVR可以无需设置单独的摄像头，而是直接复用ADAS自动驾驶域的摄像头即可。一般来说，DVR可以保存前向广域摄像头(FOV达到120°)+SVC 360环视摄像头的图像数据。为了满足白天+黑夜的数据记录要求，以及满足进出隧道等摄像头高动态范围识别要求，前向DVR摄像头和SVC环视都要求满足HDR(High Dynamic Range)的要求。因此，必须要求摄像头支持HDR模式，ISP也要求支持HDR模式。

五、360环视

SVC(Surround View Cameras)即环视摄像头，它一般布局在车头(前向)，车尾(后向)，左后视镜(左向)，右后视镜(右向)。SVC是多摄像头系统，允许驾驶员拥有360度视野，实时查看车辆周边环境。此系统通过显示图像合成算法，将多个摄像头的视角融合，得到在高处环视车辆的“上帝视角”。

SVC 同样主要属于ADC自动驾驶域，因为对于泊车辅助系统来说，需要SVC摄像头来帮助感知泊车的停车位和周边环境。因此，SVC 360环视摄像头也被称为Parking Assistance Camera。

SVC摄像头具有如下几个特点：

六、流媒体后视镜

6.1 法规

CMS(Camera Monitor System)即流媒体后视镜。CMS是用电子方式取代传统的玻璃镜面倒车镜，它有很多个名字，有叫电子侧视镜，虚拟倒车镜，电子倒车镜，电子取代镜等，ISO 国际标准组织称其为摄像头监控系统，即 Camera Monitor System。

图片来源：奥迪

奥迪 e-tron 在 CMS 系统搭载了两个 7 英寸、1280x1080 的 OLED 屏幕。据称是 OLED 屏响应速度快大约 100 毫秒。奥迪表示，外侧摄像头系统有助于将阻力系数从美国版的 0.28 提高到欧洲版的 0.27。对于纯电动汽车来说，在高速公路上，这个微小的差别可以增加 3 英里的续航里程。这个非规则形状的 OLED 屏成本极高，且角度略低，容易导致驾驶员分心，下一代奥迪很有可能改回标准矩形，放在 A 柱附近。

目前全球只有日本和欧洲的法规允许使用电子后视镜系统代替玻璃视镜。欧洲法规方面主要有 UN ECE R46-2016《关于间接视野装置及安装间接视野装置车辆认证的统一规定》和 ISO 16505-2019《摄像头监视系统的人体工程学和性能方面的要求和试验程序》。还有一个法规 IEEEP 2020 Standard for Automotive System Image Quality（车载相机图像质量标准）， IEEEP2020 希望规范是车上的所有的摄像头图像质量相关的测试和问题。无论是人类视觉应用，还是计算机视觉应用都在其范畴。并且其主要规范的就是摄像头成像系统的图像质量。

目前CMS还需要专用的摄像头(HDR)，传输通道，以及显示屏。摄像头分辨率和帧率一般最高只能达到2MP 60fps或者4MP 30fps，且成本相当高昂，在实用性上还有一定的差距。

最新的中国国标GB 15084-2022已经于2023-07-01生效，允许汽车安装流媒体后视镜，其中包括各种I，II，III类镜。一图读懂强制性国家标准GB 15084-2022《机动车辆间接视野装置性能和安装要求》

6.2 CMS性能要求

对于乘用车来说，首先需要区分I类镜和III类镜的区别，这个十分重要。

I类镜，也称为电子内后视镜，它主要是利用后置摄像头，将Camera拍摄到的视频流传输到车内中央的后视镜上进行显示。而III类镜，也称为电子外后视镜，它主要用于替代车身左右侧外部后视镜，将安装在车身两侧向后观察位置的摄像头视频流显示在车内显示屏上。

在GB15084-2022中，对CMS的性能提出了非常具体的要求，并提出了检测标准：

亮度调节：监视器的亮度应能根据环境条件手动或自动调节。
方向均匀性：为了确保驾驶员在预期的不同方向观察显示屏时，显示屏具有足够的可见性，限制从不同方向观察的图像亮度衰减，并规定了方向均匀性。
亮度对比度复现：为了确保CMS在不同使用环境条件下的图像质量以及可辨识的车外视野，规定了亮度对比度复现的要求，分别选取阳光直射，散射环境光，日落条件，夜间条件等4种典型场景来评估。
灰度与色彩还原：CMS应能在显示屏上显示至少8个不同的灰度等级；在色彩还原度测试上，按ISO16505规定的方法进行试验，并满足规定的要求。
弥散：为了避免强光源照射摄像机镜头而在显示屏上形成光芒状的亮条对驾驶员产生干扰，规定了弥散要求，限制弥散亮度值，不大于引起弥散的光源影像最大亮度值的10%。
光晕和眩光：按ISO16505规定的方法进行试验，光晕和镜头眩光区域应不大于所显示影像面积的25%。
点光源：为了在夜间行车时驾驶员能够明确区分车后机动车的两个前照灯，规定了点光源的要求。点光源发现系数应不小于2.7，或点光源对比度系数应不小于0.12。
锐度，景深，几何畸变：为了使驾驶员观察车外视野内目标的识别能力，需要规定锐度，景深，几何畸变的测试标准，并按ISO16505规定的方法进行验证。
帧率：CMS的帧率至少为30fps，在低光照条件或车辆低速行驶时可以降低到15fps。
成像时间和系统延迟：显示器成像时间应小于55ms，车外事件发生时到车内监视器输出图像的时间为系统延时，不应低于200ms。

根据上述国标的测试标准来看，CMS要满足汽车前装的要求，需要从摄像头，控制芯片，ISP处理，显示屏等一系列环节进行系统分析，在光学，机械，电子等方面进行软硬综合一体的设计，才能得到满意的结果。

6.3 CMS系统架构

CMS系统有“MCU方案”和“SOC方案”两种配置——前者功能简单、价格低、延时低；后者功能丰富、价格高、延时高。CMS系统核心的处理任务是ISP，如果只是将CMS摄像头采集到的图像用来做显示的话，就只需要MCU即可；另外可以在经过ISP处理后的图像基础上加一些应用层的功能（例如BSD、开门预警等功能），但是需要加SOC。前者MCU方案功能简单，省去了SOC核心板成本，价格更低；后者SOC方案价格更高，由于新增一些功能处理，系统延时也相较于前者更高。MCU方案中ISP处理可以放在显示屏里（屏厂Tier1偏好的方式），也可以放在摄像机里（摄像机Tier1偏好的方式）。对于MCU方案，CMS系统负责ISP的处理器可以放在屏幕里，也可以放在摄像机中，这种方案没有独立的CMS控制器。对于SOC方案，可以放在独立的CMS控制器中，未来也可以被集成到智能驾驶域控制器或者智能座舱域控制器中。

上述不同的方案对应了不同的系统成本，简要介绍2种不同的系统架构方案：

1、处理芯片ISP集成在屏幕，与相机模组分离：显示屏供应商希望把整个处理囊括在屏里，也就是把基于显示屏为处理核心的模块嵌入到屏的板子上，来处理前端相机传输进来的图像信息，来配合整个屏的模组模块化设计。。

2、处理芯片ISP与相机集成在外耳，与舱内显示屏分离：做耳镜也就是摄像头的供应商，他们希望把处理器嵌入到两侧耳镜当中，来适配舱内不同屏的厂家。这种方案可以使得整个系统小型化，在外耳镜端器件可以用小的封装在长条形或者半圆形的两侧耳镜模块当中。摄像头采集到的Rawdata传输进来可以在耳镜端直接做ISP处理，然后在舱内显示屏中做显示。