译文
预期功能安全（SOTIF）的应用
作者：Amr Abdulazim
Moustafa Elbahaey
Abduallah Mohamed
Autonomous Instruments
译文审核：郭金 汤黎超
引用：Abdulazim, A., Elbahaey, M.Mohamed, A., “Putting Safety of Intended Functionality SOTIF into Practice,”
目录
1. 前言
2.预期功能安全
3.安全攸关场景
4.相关研究
5.本文提出的模型
6.实验
7.讨论
8.结语
9.文献
01丨前言
自动驾驶日益成为汽车行业发展的方向之一[1]。随着汽车行业步入转型阶段，其行业性质正经历着从一个纯粹基于机械的系统转变为信息物理系统（CPS）的过程， 其中软件负责处理车辆的不同部件，从核心功能如转向柱，转到车对车通信以及与道路上其他设备的通信，还有车辆内部一些豪华配件。
风险与机遇并存，这种转变也给车辆安全带来了全新挑战。首先，人工智能（AI）模型和机器学习（ML）模型在解决复杂问题方面具有优越性，已被广泛应用于自动化领域。人工智能和机器学习模型能够在有限的数据基础上提出高质量的解决方案，且具有良好的通用能力[2]，因而成为开发自动化功能的首选对象。然而，人工智能模型也是车辆安全的威胁。人工智能模型的特点是透明度有限，存在错误率的非决定性和不确定性[2-4]。同时，它们的表现就像一个黑盒子，也使这些模型的确认和验证工作更加困难[5-7]。文献[8]中提到的不同程度的自动化水平引出了人与机器之间的干预因素，如文献[9]中所阐释，其后果是当用户误用某些功能时，不安全的情况就可能发生。同时，目前还缺乏应对此类挑战的安全标准。
本研究致力于提出基于人工智能模型的安全解决方案。这些方案必须要满足包括准确性在内的操作要求，以及模型在异常情况下的安全运行要求。
为应对这些新挑战，本研究引入了新的安全标准，即预期功能安全（SOTIF）。与ISO 26262不同，SOTIF关注非电气/电子故障导致的安全问题，为设计、验证和确认过程提供指导，以期建立、评估自动驾驶系统的安全性。
本文提出了一个基于上下文的机器学习模型，该模型能够对驾驶员和车道保持辅助系统（lane keep assist system）进行监测和干预。有鉴于此，我们将SOTIF付诸于实践。首先，我们引入了一个真实的以车道保持辅助系统为对象的安全相关场景。随后，本研究将SOTIF中规定的建模技术用于分析该攸关场景，再按照SOTIF指南进行确认和验证，以评估该模型的安全性。数据表明，与非上下文模型相比，本研究中提出的模型精度/召回值达到了90%以上，f1分数增幅超过150%。
02丨预期功能安全
此前，电气及电子故障是车辆安全的主要威胁，ISO 26262便与此类故障有关。随着汽车自动化程度的提高和基于组件的机器学习广泛应用，不同威胁源层出不穷。鉴于ISO 26262中规定的相关方法无法处理此类威胁，相关部门推出了SOTIF标准，旨在指导设计、验证和确认过程。验证是一系列针对已知测试用例获得正确操作信心的活动。确认则针对未知测试用例获得正确操作信心[9]，它还告诉我们如何探索潜在的风险区域，以涵盖车辆可能遇到的大多数情况。SOTIF作为ISO 26262的补充性文件，关注由用户误用、传感器性能受限或可能威胁用户安全的环境突然变化而导致的故障，但无法解决网络攻击对车辆安全造成的威胁。
SOTIF强调上下文分析的重要性，明确了事件-时间的建模技术，如图1所示。
图1 SOTIF中提出的基于上下文的建模技术
图1展示了SOTIF中提及的风险场景缓解方法。该风险场景可分解成一系列情景，每个情景都将影响下一个情景。
在图1中，目标（Goal）指从某一特定角度出发，对车辆的目标或者预期功能进行定义。场景（Scene）是对车辆当前状态和环境的描述。当前状态与预期实现目标相结合称为情境（Situation）。图1中的驾驶功能（Driving function）可以是一个能够根据当前状态为特定目标采取行动（Action）的AI模型。
该系统向前行驶，场景会根据新事件和所采取的行动而更新。然后，更新的场景会作为下一个驾驶功能的输入，并以此类推。
SOTIF提出了一项用于解决组件安全问题的技术，其步骤如下：（1）确定系统规范，（2）识别可接受的触发事件，（3）评估已知危险情景，（4）评估未知危险情景。以上步骤以迭代的方式进行。
通过这种方式，本文将对可能会对乘客或者车辆造成伤害的安全攸关场景进行解释。
03丨安全攸关场景
我们将演示一个可能由用户误用特定功能以及传感器性能受限导致的安全攸关场景。为此，我们设计了一个以车道保持辅助功能为对象的场景。在该场景中，任何细微的误用都可能造成严重后果。
3.1 场景组件
本研究中的场景指向车道保持辅助（LKA）。LKA是一项确保车辆在高速公路上安全行驶的关键功能，它通过摄像头或者其它传感器识别、接收车道内车辆的位置。电子控制装置（ECU）负责控制车辆，使其保持在车道内。LKA通常由用户控制，具备两种操作状态，即：开启（ON）和关闭（OFF）。然而，即使LKA处于开启状态（ON），用户也可以通过方向盘来控制LKA的决定。在用户覆盖LKA的决定之后，LKA状态保持不变。以下场景适用于使用CAN协议进行内部通信的汽车。
1. 车道保持辅助（LKA）：负责改变LKA状态的帧具有特定的ID和内容。LKA状态的操作起到切换按钮的作用。也就是说，若当前状态为OFF，并且接收到特定帧，则状态切换为ON，反之亦然。
2. 右车道距离（RLD）：RLD帧有唯一的ID，它携带来自传感器的数据，能够确定车辆与右车道之间的距离。
通常情况下，车辆在车道内直线行驶时，RLD只能记录特定范围内的值。左转时，RLD能观察到较大范围的值，而在右转时观察到的值较小。基于RLD值和 LKA状态，ECU能够判断是否需要更改车辆方向。
3.2 场景
图2和图3呈现了一种由用户误用和传感器性能受限共存导致的安全攸关场景。
首先，我们假设LKA处于关闭状态（OFF）。驾驶员在没有任何外部辅助的情况下控制车辆。然后，在紧急情况下，驾驶员决定更换车道。切换车道时，驾驶员决定开启LKA以让LKA系统控制转向功能。与此同时，驾驶员放开方向盘，正是这一动作表明该用户误用了LKA功能。而传感器性能受限则体现在切换车道时RLD值的波动，最终导致LKA系统无法正确判断当前车辆所在车道。LKA错误地认为还在原来车道上的车辆要离开旧车道，因此，LKA发出了一个紧急转向的指令，使车辆回到原来的车道。
犹豫阶段是指计算RLD值的传感器无法确定参考线位置，即旧车道右线或新车道右线。在真实驾驶情景中，它通常出现在车辆换道的情况下。
图2和图3展示了车辆在高速道路上行驶的场景。驾驶员决定更换车道，此时，处于后方的车辆加速占据空位。在换道时，驾驶员开启LKA，双手放开方向盘，但并没有意识到此时车辆处于犹豫阶段。其后果是车辆艰难地返回原来的车道。由于情况突然，两辆汽车的驾驶员都无法处理这种情况，导致两车发生碰撞。
图2 场景A
第一个情景。使用SOTIF标准建模技术，驾驶员决定在更换车道时开启LKA，当LKA处于犹豫阶段时，他双手放开方向盘。
图3 场景A
第二个情景。驾驶员双手放开方向盘后，LKA替代驾驶员对车辆进行控制。LKA处于犹豫阶段，因而无法准确判断车辆属于哪条车道。LKA引导车辆返回旧车道，导致与后面的车辆发生碰撞。驾驶员则因车身摇晃无法处理此类情况。
3.3 网络安全重叠
以上场景也可能由网络攻击造成。攻击者能够控制ECU，并在关键时刻发送非法LKA帧，造成同等程度的损害。倘若这种行为由网络攻击引起，一些方法能够检测到此类异常行为。我们将在下文中详细论述这些方法。
3.4 拟议的系统规范
通常情况下，所需的解决方案需要总结LKA和RLD帧之间的关系，以及其中一个帧的变化如何影响另一个帧。模型需要了解安全驾驶行为并检测不安全行为，此类模型必须采用基于上下文的分析。
拟议的解决方案不仅能够检测到用户和车辆间不安全的控制交换，还必须能够处理各种RLD模式，包括嘈杂或RLD值失真。此外，该模型必须处理环境的突然变化以及传感器性能受限等情况。
最后，该解决方案必须遵循汽车行业的相关规定与约束。除这些限制外，模型大小及实时推理速度也需要纳入考量。
04丨相关研究
文献[10]致力于制定SOTIF标准，而文献[11]则关注SOTIF的开发，并将其应用于各种车辆中。其他方法（如文献[6]）旨在识别可能满足测试过程的各种挑战。文献[5]和[7]提出了新的验证和确认方法。文献[12]和[13]特别关注神经网络的安全性。文献[3]讨论了工程上实现安全的不同策略，文献[14]研究了驾驶员和自动驾驶系统之间的信赖关系。另一方面，很少有论文像文献[15]一样讨论具体的实际案例，或提供特定的案例研究来处理此类问题。
正如在“网络安全重叠”部分中所提及的那样，一些出于网络安全目的开发的模型可以用于车辆安全的情境中，因此本节将讨论其中一些方法。
第一个是基于签名的方法，该方法利用一种特殊的模式识别不安全的场景。鉴于不安全的情况和场景数不胜数，这种方法并不便捷。在现实生活中，车辆会遇到从未模拟过的新场景，因此，尽管基于签名的方法能够很好地排除已知的不安全场景，该方法却无法解决新的或未知的不安全场景。
第二种便是指纹技术。该方法试图根据物理特性来区分不同的ECU。如在文献[16]中，作者提出了一种基于时钟的解决方案，而在文献[17]中，研究者使用了电压测量。
这些技术或许适用于一些由网络攻击造成的情景。在这种情景下，攻击者随机获得ECU的控制权，并取代了控制转向柱的ECU，但是在本研究的案例中，冒名顶替的情况并不存在。相反，合法ECU（即控制转向柱的ECU）发送一个合法的帧（LKA），其中司机正在接手车道保持辅助。这些都是ECU物理性质没有变化的正常情况下的特征。
最后一种是基于机器学习的解决方案，它可以很好地解决这类问题。其原理是通过训练机器学习模型使其理解正常的安全行为，从而具备处理从未出现过的情景的能力，正如文献[18]中使用的模型一般。然而，基于机器学习的解决方案或多或少存在安全隐患。
05丨本文提出的模型
本研究拟利用机器学习技术来理解输入之间的模式，并处理复杂的新场景。与此同时，我们通过设计、验证和确认等步骤，遵循SOTIF标准，缓解了机器学习技术带来的安全威胁。
正如在“安全攸关场景”一节中所讨论的那样，本研究引入的场景具有独特性。具体而言，该场景涵盖对合法功能的误用，从而导致车辆在没有任何电气或电子故障的情况下损坏。鉴于针对于数据帧的规范性检查中无法检测到这种情况，我们便需要一种能够清晰呈现多个输入之间的关系以及相互影响的基于上下文的模型。出于这个原因，我们提出了预测模型。
为满足“拟议的系统规范”中列举出的规范，我们决定设计一个机器学习模型，该模型旨在评估LKA的转变（触发事件）。由于推断时间和模型大小并非本研究的优化点，在这里我们将不对其进行赘述。
5.1 预测模型
顾名思义，预测模型是基于现有数据对未来或者后续状态进行预测的模型。此类模型能够解释一个输入对其他输入的依赖性。本文提出两种预测模型，分别为LKA预测器和LKA预测器增强版。我们将两种模型的性能与基准模型进行比较。基准模型是非基于上下文的模型。通过比较，我们旨在证实基于上下文的分析在LKA跃迁评估中的重要性。
5.2 基准模型
基准模型由三部分组成。第一部分是滤波器（Filter），负责从数据流中抓取RLD帧和LKA帧，其次是作为储存器的存储单元（Memory Unit），第三部分是能够收集所有信息用以对当前LKA状态作出相应决策的预测器（Predictor）。
如图4所示，本研究采用具有两个输入的简单线性层。RLD值是第一个输入，而先前的LKA状态是第二个输入。该模型的目标是预测下一个LKA状态。
图4 LKA基准预测器结构
模型将RLD值和LKA值从数据流中过滤出来，存储单元充当延迟单元，RLD值和前一个LKA值被馈送到预测器中，用以预测下一个LKA状态。
5.3 LKA预测器
LKA预测器由四部分组成。滤波器（Filter），存储单元（Memory Unit），预测器（Predictor）和历史组块（History）。前三部分的使用方法与基准模型一致，而历史组块负责为所有输入创建一个压缩表示。
如图5所示，滤波器接收数据流并凭借ID过滤掉LKA帧和RLD帧。被过滤掉的LKA帧和RLD帧会被转发并储存到存储单元。历史组块则记录了RLD所有过去帧的表示，预测器负责决策是否接收当前和此前的RLD帧以及前一个LKA状态。
图5 LKA预测器结构
该模型从数据流中过滤RLD值和LKA值，存储单元作为延迟单元运行，历史组块创建RLD值的压缩表示。历史表示、RLD值和前一个LKA值被馈送到预测器以预测下一个LKA状态。
5.4 LKA预测器组件
1） 滤波器：除了抓取RLD帧和LKA帧外，滤波器还负责修改RLD值。具体而言，我们可以通过增强数据添加噪声，修改RLD值。
2） 历史组块：历史组块由卷积层构成，它将现有的表示与当前输入帧堆叠在一起，并生成与输入大小相同的输出（以一帧大小表示完整的帧序列）。
3） 预测器：预测器由4个线性层（Linear layer）和1个隐藏层（hidden layer）构成。其中3个线性层能够将特征增加到1024个，隐藏层输出1024个特征，最后1个线性层将所有特征压缩到LKA帧大小。这便是模型预测。
5.5 具体操作
我们希望该模型能够说明LKA状态和RLD值之间的相互关系，这种设计应理解为与该模型相关的问题，即：
•车辆与车道的当前距离。
•先前所有RLD帧的表示。
•最后一个LKA状态。
预测下一个LKA状态。在本研究的场景中，我们的问题是，考虑到车辆正在更换车道且LKA已经关闭，LKA状态应该是什么？通常来说，该问题的答案是“LKA应该继续处于关闭状态”。但是本研究遇到的场景则是，车辆在更换车道时，LKA也从关闭状态（OFF）切换到开启状态（ON）。因此，必然存在异常状态。
5.6 LKA预测器增强版
基于我们在“实验”部分中讨论的结果，我们决定在模型中额外增加一个目标，以确保历史组块能够按照预期运行。
在这一版本中，我们在历史组块中增加了一个重建目标。在第一个版本中，历史组块仅以预测LKA值为目标进行训练，这种设置无法为预测器提供RLD值的历史表示。举例来说，我们可能会发现历史组块只起到替换功能，仅携带最后一个RLD帧的特征。
直觉告诉我们这一新设置能够确保历史组块携带最后N个输入的表示，即负责重建这些输入。此外，如果跃迁发生在这种变化的环境中，当输入值快速变化时，重建的难度可能会增加损失。
图6 LKA预测器增强版结构
LKA预测器结构 该模型从数据流中过滤出RLD值和LKA值，存储单元作为延迟单元运行，历史组块创建RLD值的压缩表示。历史组块、RLD值及LKA的历史值被馈送到预测器以预测下一个LKA状态。历史表示被输入到构造函数中，以重构最后一个（N个）RLD值。
5.6 LKA预测器增强版组件
除构造函数组块之外，LKA预测器增强版所有组件的工作方式都与第一种模型类似。构造函数是一个可训练的转置卷积层，输入通道等于1，输出通道等于N，其中N表示从存储下来的历史表示中重建的先前时刻的数量。
显然，这两个版本在操作上具有相似性。给模型设定新的重建目标将在某些情况下提高模型的质量。
06丨实验
6.1 训练详情
实验电脑配置为i5-8400 CPU，2.80GHz × 6，显卡型号为GeForce GTX 1070，内存16GB。
6.2 数据集
1. 原始数据集：原始数据集记录在一辆真实的车辆上，该车辆记录正常行为，并应用了真实的安全攸关场景。数据集包含完整的帧流，包括LKA、RLD和其他帧。
图7显示了数据集中的RLD值。我们可以将这些RLD值分成三个阶段。首先是（A）中所示的恒定阶段，RLD值与平均值之间偏差不大，这就好比一辆汽车在车道中央行驶。（B）对应转向阶段，即车辆即将离开车道，其方向被改为位于车道中心。在这一阶段中，RLD值或高于或低于恒定阶段的RLD值。最后一个阶段（C）为切换阶段，此时车辆已经离开车道。RLD值犹豫可以理解为传感器从右车道向左移动，越过新的零距右车道，因此捕捉到较高的RLD值。RLD值犹豫的现象持续到车辆通过切换阶段，并保持在车道中间行驶。
图7 真实车辆场景记录的原始RLD数据集
所有画面分为三类。A表示恒定阶段，B表示转向阶段，C为切换阶段。
2. RLD增强版：本研究利用原始数据集的分布合成数据集，该数据集允许通过各种复杂的场景来丰富模型。
利用“原始数据集”部分中解释过的三个阶段提取出RLD的分布特征，并尝试合成具有相同分布特征的附加噪声的数据。
本研究利用附加噪声的正弦波来模拟恒定阶段，如图8（A）所示。当x的绝对值表示（B）中的转向阶段时，（C）中的切换或犹豫阶段则是x绝对值与方波的一个特殊设置的乘积。
3. LKA增强版：为避免过度拟合，我们随机选择LKA在不同阶段的跃迁位置。合成的LKA转变只发生在恒定阶段，因此该模型可以学习安全转变的时间点。
图8 RLD数据集增强版
A由代表恒定阶段的小振幅正弦波组成。B是用x绝对值表示的转向阶段，C是用方波与x绝对值的特殊设置的乘积所表示的切换阶段。
6.3 验证
在SOTIF标准指导下，我们列出了一组直接针对安全攸关场景的触发事件的测试用例。基于该模型，我们可以得出，当RLD在转向或切换阶段发生变化时，改变LKA状态并不安全。以下测试用例用于验证LKA转变的安全性。测试用例用到了未经过任何失真处理的RLD信号。图9所示的每个测试用例都表示一个独一无二的LKA-RLD场景，每多一个测试场景获得成功，就有助于我们得出有关该模型学习内容的理解。
图9 验证测试用例
它们代表了一系列安全和不安全转变的场景，这些案例描述了无转变、单一安全转变、安全与不安全转变结合以及一系列转变的场景。
在说明以下测试用例时，我们将使用命令ON代表LKA从0转变为1过程。
测试用例1：在这种情况下，LKA在整个场景中处于关闭状态，没有经历转变过程。最佳行为必须没有异常。在这种情况下取得成功意味着该模型能够理解RLD的三个阶段，也能良好地感知驾驶员转向及更换车道的能力。
测试用例2：单一的合法的ON转变。我们期望模型能够记录切换阶段的异常行为（即RLD值非常高或非常低），这是因为当LKA开启（ON）时，车辆无法离开车道。
测试用例3：测试用例3存在4个转变，其中3个为合法转变，发生在恒定阶段。在转向阶段会发生非法OFF转变。如果模型在这种情况下获得成功，这就意味着该模型可以理解LKA转变能够出现在恒定阶段，但LKA从ON到OFF的转变无法在转向阶段发生。
测试用例4：测试用例4包括2个转变，分别为1个合法的ON转变和1个非法的OFF转变。该用例确保模型意识到LKA不会在转向阶段发生从ON到OFF的转变。
测试用例5：该用例只在转向阶段存在1个不合法转变。检测到这种异常行为表明该模型意识到LKA 不会在转向阶段发生从 OFF 到 ON 的转变。
测试用例6：与测试用例5类似，然而，它确保模型理解，在转向阶段，RLD陷入局部极小值时，LKA无法发生从OFF到ON的转变。
测试用例7：测试用例7包含一系列转变。第一阶段均为正常转变，任何其他阶段发生的跃迁则都是异常的。利用这一特例，我们确定了阈值，并计算了精度和召回值。通过实验发现，尽管ON和OFF转变位置一致，模型会赋予每次转变不同的输出，因此本研究将ON和OFF转变区域区分开来。我们将在“确定阈值”部分对此进行详细讨论。
6.4 确认
SOTIF规定，必须在未知测试用例中对模型进行测试，这一过程称为确认（validation），其目的是确保模型能在新场景下安全运行。探索阶段必不可少，以收集模型可能遇到的大多数情况。在验证阶段，我们已经讨论了LKA跃迁的安全性问题。在这一阶段，我们将关注可能发生失真的RLD信号。由于不计其数的非法RLD模式无法被硬编码的算法覆盖，引入的一系列测试用例能够突出基于机器学习的解决方案的重要性。在现实生活中，这种情况可能由环境的突然变化或传感器性能受限造成。
图10展示了添加到原始RLD数据集的失真形状。在这一阶段中，我们修复了LKA模式。本研究使用了验证阶段中测试用例7中用到的LKA模式，因为它囊括大量LKA转变，这有助于我们更好地理解模型行为。综上所述，最终设置为图9（g）所示的一系列转变和图10所示的失真RLD信号。
将失真添加到所有测试用例中相同部分的RLD中。我们在两部分中添加了失真，第1部分处于恒定阶段，第2部分处于转向阶段。每个部分包括4个LKA转变，其中2个为ON转变，另外2个为OFF转变。
第一部分中，我们研究了在将安全转变归为异常行为之前，模型能够容忍何种程度的失真。第二部分中，我们研究了模型是否会因为增加了失真而将不安全转变归为安全转变。
图10 确认测试用例
它们代表了有关RLD异常模式的实验，分别表示正偏差、负偏差、方波和正态分布噪声。在训练过程中，我们只将LKA转变设置为随机位置，主要是在恒定阶段，这样一来就能避免模型过度拟合。此外，我们将增强数据集作为训练集，整个原始数据集仅用作确认数据集。
在图10中，每张图像都对应一组实验。
正偏差（a）：本组实验针对正偏差测试模型，试验了三种不同程度的正偏差，偏差值在0.1到1之间。在低偏差值实验中，我们认为转变出现在转向阶段，属于正常转变。原因在于失真后的RLD保持在可接受范围内，且RLD值变化很小。
负偏差（b）：与正偏差类似。本研究采用了三种不同程度的负偏差，图（b）表示中等水平负偏差。出于相同的原因，我们认为低水平负偏差属于正常情况。方波信号c：我们采用了高、中、低频率的失真方波信号。图（c）表示在中等频率方波信号下进行实验。之所以选择方波是因为它与犹豫阶段的模式相似。
0.08Hz、0.04Hz、0.02Hz分别代表高、中、低频率。实验发现，0.08Hz的方波信号能够削弱原始信号的特征，因此我们将其视为高频方波。
正态分布（d）：最后一种类型存在三种实验情况。就低水平实验而言，我们采用均值为零的正态分布，标准差等于初始数据集在转向阶段的标准差。在第二种情况下，噪声的标准差是原始数据集标准差的两倍，而在最后一种情况下，噪声的标准差是原始数据集标准差的十倍。图（d）表示中等水平高斯噪声。
本研究认为在前两种实验情况下，由于信号在失真状态下没有失去其特性，所以在恒定阶段发生的转变属于安全转变。
6.5 模型配置
本次实验将采用三种模型。就基准模型而言，我们使用具有2个输入和1个输出的简单线性层。LKA预测器由1个卷积层（作为历史组块）和3个线性层（将特征大小增加到1024，再将其减小到帧的大小）组成。LKA预测器增强版与LKA预测器具有相同组块，此外，还增加了用于重建的卷积层。
所有模型具有类似的训练配置。本研究采用beta值为0.9和0.999的Adam优化器，通过网格搜索确定学习率1e-4。模型训练经历4个阶段，批大小为8，序列长度为10。除了均方误差作为一个损失函数。
本研究将当前和先前的LKA状态变量初始化为零，表示关闭状态。RLD状态初始化为具有中等值的正常RLD帧。中等值代表恒定阶段。输入到历史板块（Hist）的初始值初始化为零。在预测器中，我们发现增加线性层的大小会锐化转变，这表明模型在转变时会输出如图12所示的锐化触发器。因此，我们将线性层的隐藏大小设置为1024。
图12 表示由5个阈值限定的安全和不安全区域
每种类型的转变和非转变区域的上限和下限。深色区域表示安全区域，白色区域表示不安全区域。
6.6 确定阈值
在评估过程中，我们观察到一种特殊行为反复出现在不同模型中。通常情况下，即使ON/OFF转变发生在不同场景或RLD的类似阶段中的相同位置，它们的输出损耗不同。
如图11所示，初始的ON转变中记录的损耗远高于后续OFF转变中记录的损耗。尽管前三个属于正常转变，但两种类型损耗存在较大差异。也就是说，确定一个单独的能区分正常和异常数据的阈值是不可能的。
图11 验证测试用例3中增强模型的输出
高触发作为第一个和第三个触发，对应ON转变 短触发对应OFF转变
为此，我们建议每种类型的转变应设置多个阈值。在本研究中，每个模型都采用五个阈值，每种类型都有上限和下限。这些阈值将在第七个验证测试用例中确定。最后一个是覆盖非LKA跃迁点的模型输出的阈值。具体设置如图13所示。
图13 仅表示ON转变
绿线表示安全转变，红线表示不安全转变。上限为最高正常值和最低不安全触发值的平均值。
本研究采用的技术如图13所示。就安全区域的边界设置而言，我们有三种方案可供选择。
第一种是严格选择，使阈值等于安全区域边缘的转变。第二种为广泛选择，使阈值等于最接近不安全ON转变。第三种需要计算最安全ON转变与最接近不安全ON转变之间的平均距离。本研究选用第三种边界设置模式以规避模型的高灵敏度。同样地，我们确定了下限。
T表示阈值，B表示边界。
值得一提的是选择这种方法取决于我们对模型输出模式的观察。如图11所示，LKA转变点的模型输出较大，非转变点的损耗较低。基准模型中的输出是不同的，它呈现出连续重叠模式，在转变点输出不大，因此我们人工确定了基准模型的阈值。
6.7 验证结果
表1显示了每个验证测试用例的模型结果。F说明真阳性为0，使得f1分数无穷大。LKA预测器和LKA预测器增强版模型能够通过所有测试用例，因而可以成功地对转变的安全性进行分类。图11中的区域（C）代表LKA开启时，切换阶段的模型输出。在验证测试用例1、4和5中，两种模型均在同一阶段捕捉到更高水平的损耗，这表明该模型可以得出有关LKA-RLD对的安全性结论。就基准模型而言，安全跃迁和不安全跃迁间存在重叠部分。此外，基准模型没有针对OFF转变的明显触发，使得阈值确定更为复杂。
尽管所有模型的参数尺寸存在巨大差异，但推断时间没有显著差异。我们认为，由于滤波器占用了大部分推断时间，所以两种模型在推断时间方面没有区别。
6.8 确认结果
表2呈现了每个确认测试用例的f1分数。两种模型具有相似能力，但是LKA预测器在分类方面性能更好，尤其是在正偏差系中。此外，这两种模型在负偏差系和方波系中得到了相同结果，但就正态分布系而言，LKA预测器增强版获得更高分数。虽然在LKA预测器增强版中加入重建目标有损正偏置系结果，但能提高正态分布系的结果，且对其他系没有影响。直觉告诉我们，新增加的目标使增强版预测模型能够在不受其影响的情况下在失真状态下运行。这一功能非常重要，因为超敏感模型无法在真实场景中运行。方法按照研究方向调整此功能。
表1
表1对比了基准模型、LKA预测器和LKA预测器增强版。该表呈现了模型的参数大小、以秒为处理单位的小批量以及验证测试用例上获得的f1分数。
表2
表2对比了LKA预测器和LKA预测器增强版。该表呈现了确认测试用例中获得的f1分数。实验1到3表示正偏差系，4到6表示负偏差系，7到9表示平方系，10到12代表正态分布实验。每个系列从高到低排列。
07丨讨论
预测模型具有对异常情况做出瞬时反应的特点。除了高精度召回值，它们还可以通过增强数据集获得类似的结果，并且导致LKA-RLD对异常。另一方面，除了复杂的阈值设置外，此类模型对RLD变化高度敏感。最后值得一提的是，这类模型在配置相同的情况下，并不能产生相同的结果，这也是后续研究需要探索的方向。
尽管本研究中呈现的基于机器学习的模型实现了性能提升，我们认为该模型不具备独立保证安全性的能力。因此，为了提供完全可靠的解决方案，我们还需要额外进行道路测试，需要大量具有不同行为的用户将其应用于不同场景之中。除此之外，为安全起见引入的基于机器学习的模型并不是为了取代涉及电气/电子故障的ISO 26262。
08丨结语
随着汽车行业车辆自动化需求的增加，采用人工智能模型已是大势所趋。然而，这类模型给车辆安全问题带来了严重威胁。ISO/PAS 21448 SOTIF是一项安全标准，旨在应对非电气/电子故障带来的风险。与大多数与SOTIF相关的研究不同，本研究不讨论SOTIF的标准，而是致力于将SOTIF付诸实践。
因此，在简要论述SOTIF标准后，本研究介绍了一种可以想象的安全攸关场景，该场景以车道保持辅助功能为目标。我们遵循SOTIF标准中的建模技术，对场景进行分析，提取触发事件。随后，我们回顾了安全领域的相关研究以及基于机器学习的方法在相似领域中的应用。在回顾相关文献后，我们提出了一个基于上下文的机器学习预测模型以监控驾驶员和车道保持辅助系统之间的相互干预。预测模型指利用现有数据对未来数据进行预测的模型。我们建议将预测模型应用于异常检测。
此外，本研究还涉及模型与车辆约束条件的兼容性。其后，本文单独列出一部分用于解释阈值确定的方法和过程。最后，我们遵循SOTIF的指导原则，通过验证和确认过程，研究了模型在各种场景和失真输入状态下的行为。为此，我们采用了一个真实的安全攸关场景数据集和一个增强数据集。实验表明，高精度/召回率超过90%。研究还表明，精度/召回值与模型对某些输入的敏感性之间存在折衷关系。
09丨文献
【1】 Kirovskii, O.M., and Gorelov, V.A., “Driver Assistance Systems: Analysis, Tests and the Safety Case. ISO 26262 and ISO PAS 21448,” IOP Conference Series: Materials Science and Engineering 534:012019, Jun 2019.
【2】 Gharib, M., Lollini, P., Botta, M., Amparore, E., Donatelli, S., and Bondavalli, A., “On the Safety of Automotive Systems Incorporating Machine Learning Based Components: A Position Paper,” in 2018 48thAnnual IEEE/IFIP International Conference on Dependable Systemsand Networks Workshops (DSN-W), pp. 271-274, 2018.
【3】 Varshney, K.R., “Engineering Safety in Machine Learning,” in 2016 Information Theory and Applications Workshop (ITA), pp. 1-5, 2016.
【4】Varshney, K.R. and Alemzadeh, H., “On the Safety of Machine Learning: Cyber-physical Systems, Decision Sciences, and Data Products,” 2016.
【5】 Liu, F., and Yang, M., “Verification and Validation of Artificial Neural Network Models,” . In: Zhang, S., Jarvis, R., editors. AI 2005: Advances in Artificial Intelligence, (Berlin, Heidelberg, Springer Berlin Heidelberg, 2005), 1041-1046.
【6】Koopman, P., and Wagner, M., “Challenges in Autonomous Vehicle Testing and Validation,” SAE Int. J. Trans. Safety4:15-24, April 2016.
【7】 Schumann, J., Gupta, P., and Liu, Y., Application of Neural Networksin High Assurance Systems: A Survey (Berlin, Heidelberg: Springer Berlin Heidelberg, 2010), 1-19.
【8】 SAE, T., “Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems-j 3016,” Society of Automotive Engineers: On-Road Automated Vehicle Standards Committee; SAE Pub. Inc., Warrendale, PA, USA, 2013.
【9】“Iso/pas 21448: 2019,” Jun 2020.
【10】Schnellbach, A., and Griessnig, G., “Development of the ISO 21448,” . In: Walker, A., O’Connor, R.V., and Messnarz, R., editors. Systems, Software and Services Process Improvement, (Cham, Springer International Publishing, 2019), 585-593.
【11】 Schwalb, E., “Analysis of Safety of the Intended Use (sotif),”
【12】 Burton, S., Gauerhof, L., and Heinzemann, C., “Making the Case for Safety of Machine Learning in Highly Automated Driving,” . In: Tonetta, S., Schoitsch, E., and Bitsch, F., editors. Computer Safety, Reliability, and Security, (Cham, Springer International Publishing, 2017), 5-16.
【13】 Bodenhausen, U., “Architecture and Independence Controller for Deep Learning in Safety Critical Applications,” . In: Bargende, M., Reuss, H.-C., Wagner, A., and Wiedemann, J., editors. 19. Internationales Stuttgarter Symposium, (Wiesbaden, Springer Fachmedien Wiesbaden, 2019), 1131-1142.
【14】 Guo, M., Shang, S., Haifeng, C., Zhang, K. et al., “Control Model of Automated Driving Systems Based on Sotif Evaluation,” SAE Technical Paper 2020-01-1214, 2020. https://doi.org/10.4271/2020-...
【15】 Burton, S., Gauerhof, L., Sethy, B.B., Habli, I., and Hawkins, R., “Confidence Arguments for Evidence of Performance in Machine Learning for Highly Automated DrivingFunctions,” . In: Romanovsky, A., Troubitsyna, E., Gashi, I., Schoitsch, E., and Bitsch, F., editors. Computer Safety, Reliability, and Security, (Cham, Springer International Publishing, 2019), 365-377.
【16】Cho, K.-T. and Shin, K.G., “Fingerprinting Electronic Control Units for Vehicle Intrusion Detection,” in 25th USENIX Security Symposium (USENIX Security 16), Austin, TX, pp. 911-927, USENIX Association, Aug. 2016.
【17】 Cho, K., and Shin, K.G., “Viden: Attacker Identification on In-Vehicle Networks,” CoRR abs/1708.08414, 2017.
【18】 Hawkins, S., He, H., Williams, G., and Baxter, R., “Outlier Detection Using Replicator Neural Networks,” 2454:113-123, 2002.
-END-
免责声明：如涉及侵权请及时联系反馈，我们会在第一时间做更正说明或做删除处理。文章版权及解释权归原作者及发布单位所有，仅供参考学习。
作者：SASETECH
文章来源：sasetech
推荐阅读
更多物联网安全，PSA等技术干货请关注平台安全架构(PSA)专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入PSA技术交流群，请备注研究方向。
