智能汽车中的AI安全
智能汽车目前大量部署了人工智能系统，因此在传统安全问题之外，人工智能所带来的安全问题，尤其是智驾系统中部署的人工智能模型所带来的安全问题变得愈发严峻和值得关注。因此，本文主要结合AI系统自身存在的安全问题和智能驾驶汽车的应用场景，从对抗场景安全问题、自然场景安全问题、AI黑盒性和AI隐私问题分别介绍可能存在的安全风险。最后简要结合AI在安全中的应用分析AI辅助下的智能汽车安全。
01. AI安全
针对智能汽车在应用AI过程中所涉及或者说由AI系统带来的安全问题，其可以分为“两大两小”四个部分。两大分别为对抗场景安全问题（Security）和自然场景安全问题（Safety），对抗场景安全问题关注于有恶意攻击者主动使用攻击方法干扰AI系统时所能产生的危险后果，自然场景安全问题关注于没有攻击者情况下，AI系统由于自身的鲁棒性、泛化性不足等特性所导致运行过程中产生的危险后果。“两小”则是指AI模型的黑盒性问题和AI系统所带来的数据隐私问题，其严重性相对较小，但也值得持续关注。
1.1. 对抗场景安全问题
1.1.1. 可见光对抗攻击
可见光对抗攻击（Adversarial Attack）是研究时间最长、相关工作最多的人工智能安全问题，其核心原理为，以深度学习模型为基础的可见光视觉模型自身由于非线性函数、多层参数等特性，很容易受到定向噪声影响，输出发生明显偏移。人眼极其难以察觉的噪声（例如RGB场景下4/255范围的噪声）即可诱导深度学习模型做出错误输出。这一类攻击在白盒模型或者数字场景下极容易实现，攻击者通过优化对抗参数即可明显提升攻击成功率。在物理域这一攻击针对图像分类、目标定位、人脸识别等场景下的模型也已经验证具有很高的成功率，例如通过特定物理域图像补丁使得人脸识别模型误识别人脸为特定目标。如图1所示，这一攻击近年来也迁移到针对智能汽车的攻击中，针对智能汽车上基于深度学习的模型都存在此类风险。但同时，真实汽车系统模型的黑盒性和物理世界中自身噪声、环境变化等特性一定程度上使得对抗攻击并不容易稳定生效，能够生效的对抗攻击也需要较大的贴纸贴在目标上，目前技术下相对明显，也可以在法律层面增加相关管制，效果如下图：
图1 面向指示牌识别的不同可见光对抗样本图片示例[1]
目前越来越多的研究者研究针对真实汽车系统下的对抗攻击可行性。整体而言，可见光对抗攻击研究工作多，技术相对成熟，但在物理光照变化、环境变化下攻击成功率受限，相关研究仍在不断进行中。因此，针对此类可见光图像攻击，一方面需要针对智能汽车内依赖深度学习模型的功能加强红队测试，建立良好的可见光对抗测试方法，通过环境模拟、故障注入和形式验证等方法进行严格的对抗攻击功能安全测试。人工智能的动态特性也使得在其整个生命周期内确保安全性变得具有挑战性，因为系统会不断学习和发展，红队测试也需要动态迭代进行。
1.1.2. 基于传感器的误导攻击
依赖传感器输入（例如 LIDAR、RADAR、ToF、摄像头）的 AI 系统必须能够抵御传感器漂移、故障或不准确。针对激光雷达的安全威胁近年来有大量研究，激光雷达作为自动驾驶车辆的关键感知组件，通过发射激光脉冲并接收反射信号生成高精度3D点云数据，为环境建模、目标检测与定位提供基础支持。然而，如图2所示，其依赖光学信号交互的特性使其成为物理对抗攻击的重要目标。针对激光雷达的攻击可以分为三类：
（1）欺骗攻击：通过外部设备模拟激光回波信号，向LiDAR注入虚假点云数据。例如，利用光电探测器捕获激光脉冲并延迟后重新发射，制造“幽灵”目标或篡改目标距离信息。
（2）物理对抗物体攻击：设计特定形状或材质的物理物体，通过扰乱LiDAR点云的反射特性实现目标隐藏或误识别。例如，3D打印的金属结构可通过表面散射特性使车辆“消失”。
（3）反射物体攻击：利用高反光材料（如镜面、金属箔）产生异常反射信号，导致LiDAR生成错误点云。例如，通过无人机悬停反射板干扰前向感知。近年来针对激光雷达等传感器的对抗攻击研究越来越多元，在实际系统防护中值得持续关注。
图2 面向激光雷达的对抗示例[2]
1.1.3. 训练数据毒化攻击
与对抗攻击不同，训练数据毒化攻击（Poisoning Attack）则向训练数据中加入少量恶意数据，通过模型对数据的学习将毒化目标注入到后门中。一类毒化攻击是为了降低目标模型的整体精度，破坏模型训练效果。另一类更加隐蔽但是威胁性也更大的后门攻击向部分训练数据中加入触发器，建立触发器到特定输出的强链接关系，使得在真实场景下，只要在数据中添加触发器，就可以误导模型到特定输出。例如在BadVLMDriver攻击中，攻击者将红色气球这一触发器加入到对视觉大语言模型的训练数据中，并标记为安全的可以快速通过的场景，进而使得使用触发器的攻击者可以使用红色气球在实际模型运行场景诱导汽车加速等行为。
图3 视觉大模型中的后门数据毒化示例[3]
针对此类数据毒化攻击，需要针对汽车上智能模型在实际训练中，建立考虑恶意攻击的数据集清洗方法，针对数据集中可能存在的恶意数据进行检测、筛查、擦除等，同时也需要提升模型的可解释性，避免模型学习到非真实特征或者不准确特征。
1.2. 自然场景安全问题
1.2.1. 域外数据问题
当实际场景与训练数据分布差异较大时，AI深度学习模型的泛化能力会显著下降，这对于安全性能有着显著影响。但对于自动驾驶任务而言，真实运行数据由于环境动态、传感器差异、突发路况等不同会产生诸多数据差异。如图四所示，在2023年Cruise在旧金山暴雨中发生多起误判，导致车辆冲撞警戒带进入危险地带并堵塞交通，无法自行移动。
图4 旧金山暴雨中的智驾系统故障
目前针对此类域外数据问题，可以通过更严密的规则或者人工智能设计来解决，NVIDIA 设计了 DRIVE AGX 平台，以确保自动驾驶汽车在预期的运行设计域（ODD）内安全行驶。当车辆处于其定义的 ODD 以外或因条件动态变化而不在其 ODD 内时，可使车辆恢复到最小风险状态（也称为“安全回退状态”）。例如，如果自动驾驶系统检测到突发变化，如暴雨影响传感器，从而影响其在运行设计域内的驾驶能力，该系统会将控制权移交给驾驶员。若检测到重大危险，系统将会立即安全停车。结合一些交通管制、特殊路况问题等路面信息，可以通过车路协同实现更好的域外数据监测。
同时，建立良好的持续学习与适应机制也非常重要，人工智能模型是在大型数据集上进行训练的，旨在学习和动态适应新的感知信息。然而，当暴露于与训练数据明显不同的环境或场景时，它们的行为可能会发生变化。虽然这种持续学习的能力是自动驾驶所必需的，但它引发了对功能安全的担忧。例如，自动驾驶汽车可能会根据新数据调整其决策，但如果没有仔细监控，它可能会发展出在最初部署时既不存在也未经测试的不安全行为。
1.2.2. AI辅助的自动驾驶安全训练与测试
如何使用生成模型以生成关于Corner Case的训练和测试数据以提升自动驾驶等智能模型安全性能也是AI辅助的一大研究热点。针对软件系统的大模型测试算法已经越来越多，例如PathEval使用了一个流水线的方式将ChatGPT和KLEE等传统工具进行了结合，并且使用大模型的生成进一步优化了传统工具的变量符号化的测试。目前针对无人驾驶、机器人等领域用于模型训练的数据生成工作较多，针对如何提升安全测试能力的相关工作内容还处于探索阶段。
1.3. AI黑盒性
1.3.1. 智能驾驶模型决策的可解释性
在用户体会到AI的“好用”之前，首先需要满足用户对AI的“信任”。这种信任的建立尤其体现在自动驾驶和智能汽车领域，因为用户的安危直接依赖于AI系统的可靠性和透明度，但传统的AI模型是黑盒的，因此近年来提升AI模型的可解释性是系统的重要需求。2025年，随着端到端自动驾驶模型的广泛应用，AI系统的可解释性成为用户基数增长的关键一环。目前为止，AI系统的可解释性可通过数据可解释性、模型可解释性和事后可解释性三个层面分别实现。在自动驾驶场景中，数据可解释性通过展示数据特征（比如传感器参数、交通规则标注标准）和算法流程（比如激光雷达去噪、图像分割）来确保用户能观察数据来源与处理逻辑。例如，一些L3系统通过热力图展示摄像头关注区域，建立信任基础。其次，模型层通过因果推理模块及局部解释工具（如LIME/SHAP热力图），降低复杂度并解析关键决策。例如，贝叶斯神经网络可量化路径规划的置信区间，帮助用户理解“为何选择某轨迹”或“风险概率如何计算”。事后可解释性依赖反事实分析、交互式溯源（如语音解释超车逻辑）及用户反馈闭环（如推送安全报告）等。这些工具通过“回溯+预测”的双向互动，让用户不仅理解当前行为，还能预见系统改进方向，从而深化长期信任。
1.4. AI隐私问题
1.4.1. 深度学习中的隐私问题
不同于传统数据场景下由网络安全、系统安全所导致的数据隐私问题，即使在防护良好的网络传输、信息存储条件下，深度学习生命周期中所涉及的模型内生要素也会导致数据隐私泄露现象。针对深度学习中的数据隐私安全问题主要包括：
（1）模型窃取：模型窃取指的是攻击者试图通过查询已部署的机器学习模型来推断出该模型的具体参数或结构。通常，攻击者会利用公共API接口对模型进行多次查询，并根据返回的结果分析和重建出相似甚至相同的模型。
（2）模型逆向：指从模型的行为或输出反推出输入的数据或训练数据集的信息。即使模型本身没有直接泄露数据，但可能间接地获取到一些原始训练数据的信息。
（3）多方协同场景下的隐私问题：在端云协同、联邦学习等场景下，中间所传输的模型梯度、模型参数、中间计算变量等，都有可能泄露用户数据相关信息。
但到目前为止，深度学习下的数据隐私恢复更偏向于整体数据集统计学信息恢复，精确性尚有待提高，如何建立车载智能模型下的隐私标准仍需清晰界定。
1.4.2. 采集数据隐私性问题
在智能网联车场景下，车上多种传感器在特定条件下回采集用户数据，这些采集后的数据如何处理等要求都应当遵循《汽车数据安全管理若干规定（试行）》、“GB/T 41871标准”等，车载大模型等使用等对数据的采集也应当遵循最小化、匿名化原则。同时，车内网络安全也需要关注传感器被调用的情况，防止用于用户数据采集的麦克风、哨兵摄像头等被恶意利用。
同时，在Agentic AI在车内广泛应用下，数据开放共享也会成为大模型时代的特点，如何保障Agent调用下的AI安全也成为重要课题。
02. AI for 安全
AI同样可以服务于功能安全等车内安全场景，提升安全效能。这在之前的博文中已经有一些介绍，而且笔者不是这方面的专家，因此只简单举一些例子说明。厂家可以通过将功能安全要求应用于特定系统架构中，AI有助于识别系统中的薄弱环节，并指导改进设计。这包括利用故障模式及影响分析、故障树分析和相关失效分析等技术进行迭代分析。同时，也可以为自动驾驶汽车系统设计冗余机制和多样化功能，增强系统的弹性和可靠性。这意味着当检测到故障或需要补偿性重新配置时，车辆仍能保持安全运行。利用先进的机器学习技术实时监控车辆通信和行为，以便及时发现任何异常情况，这对于长期使用的车辆系统尤为重要。
03. 参考资料
[1] Does Physical Adversarial Example Really Matter to Autonomous Driving? Towards System-Level Effect of Adversarial Object Evasion Attack
[2] Navigating Threats: A Survey of Physical Adversarial Attacks on LiDAR Perception Systems in Autonomous Vehicles
[3] Physical Backdoor Attack can Jeopardize Driving with Vision-Large-Language Models
[4]https://multicorewareinc.com/...
[5]https://images.nvidia.cn/aem-...
END
作者：白怡杰
文章来源：sasetech
推荐阅读
更多物联网安全，PSA 等技术干货请关注平台安全架构(PSA)专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入PSA 技术交流群，请备注研究方向。
