随着 AI 技术在我们日常生活中的广泛应用,模型的「可解释性」逐渐成为一个亟待解决的问题。尤其是在涉及人类生命、财产安全等任务时,这种「黑盒」算法不仅削弱了用户对 AI 系统的信任,还引发了一系列问题,比如安全、歧视等。
在时间序列预测任务上,这一问题尤为突出。时间序列预测涉及多个关键行业,包括但不限于股市预测、疾病预测、能源预测、天气预报等,在这些领域的任务中,理解 AI 决策背后的原因至关重要。以疾病预测为例,医生和患者不仅需要知道 AI 的预测结果,还需要了解这些结果是如何得出的,若能够清楚地指出哪些症状对诊断起关键作用,将会增强医生和患者对 AI 辅助医疗诊断的信任度。
为了让时间序列预测不仅仅是一个精确的数字,而是一个可以「看得见」的过程,华中科技大学陆枫团队联合悉尼大学 Zomaya 院士团队、同济医院,提出了一种新的方法——CGS-Mask,通过将时间序列预测与可解释性结合,该方法既能提高模型预测精度,又能使预测结果更加直观和可解释。
具体而言,通过引入掩膜机制,模型能够突出显示哪些时刻、哪些数据对最终结果影响最大,就像在开车时为你清晰地标出路上的重要标志,让你明白为何要做出某个转弯或减速决策。这种方法在医疗保健、天文学、传感器和能源等领域有广泛的应用潜力,在需要与用户互动的时间序列预测任务中更为显著。
该成果以「CGS-Mask: Making Time Series Predictions Intuitive for All」为题,已被国际顶尖人工智能会议 Proceedings of the 38th AAAI Conference on Artificial Intelligence (AAAI’24) 接受发表。
研究亮点:
- 相比传统方法,CGS-Mask 能更清晰地显示哪些时间段对预测结果最重要,哪些因素不重要,让用户更容易理解预测过程
- CGS-Mask 适用于各种时间序列预测任务,尤其是那些需要与用户互动并解释结果的场景,例如,股市预测、疾病预测和天气预报等
- CGS-Mask 在精度、可解释性和直观性上都比其他方法更优秀,它减少了「黑盒」问题,提升了模型的透明度。通过该方法,非专业人士也能理解模型的预测结果,对用户更友好,增强了模型的可应用性和可信度
- 未来,研究人员将积极增强 CGS-Mask,致力于证明 CGS-Mask 在更多时间序列应用中的适用性,特别是在医疗保健领域,将该方法用于从病历中识别显著特征,以揭示疾病的发生、发展和恶化
论文地址:
https://ojs.aaai.org/index.php/AAAI/article/view/29325
开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,并提供海量数据集与工具:
https://github.com/hyperai/awesome-ai4s
数据集:合成数据+真实世界数据,覆盖医疗保健、天文学、传感器和能源领域
研究人员选用的合成数据集有 4 个,分别是「rare features」、「rare time」、「mixture」和「random」。
- rare features 和 rare time 数据集分别包含一小部分显著特征和一小部分显著时间点
- mixture 数据集由 rare features 和 rare time 整合创建
- random 数据集的显著输入区域是随机定位的
研究人员选用的真实世界数据集分别是:MIMIC-III 数据集、LSST 数据集、NATOPS 数据集、AE 数据集。这些数据集覆盖了医疗保健、天文学、传感器和能源等领域,用于评估 CGS-Mask 在不同领域的性能。
MIMIC-III 数据集:包含 4 万名重症监护室 (ICU) 患者的健康记录,每个患者有 31 个特征,用于预测患者在接下来 48 小时内的存活率。这是一个二分类任务,目标是区分患者是否会存活或死亡。
LSST 数据集:模拟天文时间序列数据,为大型综合巡天望远镜 (Large Synoptic Survey Telescope) 的观测做准备。预测模型需要将这些数据分类为 14 个不同的天文类别。
NATOPS 数据集:由手势识别传感器生成,记录了手、肘、腕和拇指的传感器数据。这些数据需要被分类为 6 种不同的手势。
AE 数据集:来源于 UCI 存储库的家用电器能源预测数据集,用于预测房屋的总能源使用量。这是一个回归任务,预测模型的输出是一个能代表总能源使用量的数值。
模型架构:优化条形掩码,CGS-Mask 提供清晰、直观的时间序列预测解释
CGS-Mask 是一种基于细胞遗传条形掩码 (Cellular Genetic Strip Mask) 的显著性方法,通过结合细胞遗传算法来优化条形掩码,可以解决时间序列预测任务中的「黑盒」问题,提高模型的可解释性。
- 条形掩码将连续的时间步骤视为一个整体来评估特征的影响,能够有效地捕捉时间序列数据的时间依赖性;条形掩码的二进制值(0 或 1)增强了结果的可解释性,使显著性评分更加直观。
优化条形掩码的具体步骤为,首先,创建一组条形掩码并将它们映射到元胞自动机中;随后,通过使用遗传操作(如交叉、变异和平移等)来优化每个掩码,使其进化到下一代;经过 N 轮代之后,将选择具有最高适应度值的掩码作为最优掩码。CGS-Mask 整体框架如下图所示:
CGS-Mask 的整体框架图
初始化种群 (Population initialization):随机初始化一个条形掩码的种群,将这些掩码映射到一个二维的元胞自动机中。
适应度评估:计算每个条形掩码的适应度值 (fitness value),并通过定义的扰动误差进行评估,该误差衡量了掩码对模型预测的影响。
遗传算子优化:使用交叉、变异和平移等遗传算子优化每个掩码。
- 交叉 (Crossover):算法在邻居掩码之间执行交叉操作,以生成新的掩码。在 CGS-Mask 中,条带是遗传操作的基本单位。新掩码的条带可以从任一父代中继承。
- 变异 (Mutation):通过一定概率替换掩码中的条带来增加遗传多样性,并防止算法过早收敛到局部最优解。
- 平移 (Translation):调整条带在时间线上的位置偏移,以优化条形掩码。这有助于微调条带的位置,使其更准确地对齐到输入数据中的真实显著区域。
迭代进化:通过迭代应用上述遗传算子,种群中的掩码不断进化,以寻找具有更高适应度值的掩码。
选择最优掩码:经过 N 轮迭代后,选择适应度值最高的掩码作为最优掩码(Optimal Mask M*)。
CGS-Mask 结合细胞自动机和遗传算法,能够有效地优化条形掩码,以提供清晰、直观的时间序列预测解释。这种方法不需要模型内部信息,因此适用于各种黑盒模型,能够快速地为用户提供有意义的解释。
实验结论:CGS-Mask 可有效识别随时间变化的显著特征,揭示疾病发展、恶化关键因素
为评估 CGS-Mask 方法的性能,研究人员在合成数据集和真实世界数据集上将其与其他 8 种最先进的显著性方法进行了比较。这些方法包括 Dynamask、DeepLIFT、RISE、FIT、Shapley Value Sampling (SVS)、Feature Occlusion (FO)、Feature Permutation (FP) 以及 Integrated Gradient (IG)。如下图所示,实验结果表明,CGS-Mask 在确定显著特征方面展现出了更高的准确性,这表明它能够更有效地识别那些随时间变化的显著特征。
真实世界数据集上的对比结果
以在医疗健康领域的应用为例,研究人员选择 MIMIC-III 数据集,预测患者在接下来 48 小时内的存活率。不同方法对比如下图所示,图 f 为 CGS-Mask 预测结果,绿色条表明与患者结果相关的关键特征,研究发现,血压下降、心率心动过速、呼吸急促都预示着死亡风险迫在眉睫,医生能够根据这些特征及时进行干预。然而,其他对比方法没有明确识别导致这一结果的时期和特征,如图 (a)−(d) 所示。
为了评估生成的掩码的易读性,研究人员对 254 名不同年龄组(5-83 岁)、不同领域知识水平的参与者进行了调查。结果显示,超过 65% 的用户将 CGS-Mask 评为最能帮助他们理解显著特征及其时间相关性的方法,超 85% 的用户将其排在前 3 名。
此外,研究人员还进行了一项试点用户研究,以评估使用 3 种显著性掩码(Q1、Q2 和 Q3)在 10 个时间步内确定 4 个特征(A、B、C 和 D)时的特征重要性反应时间和准确性。如下图所示,使用 CGS-Mask (Q2) 的用户平均反应时间为 6.26 秒,准确率为 85.4 %,而使用数值掩码 (Q1 和 Q3) 的用户平均反应时间为 19.22 秒,准确率仅为 40.6%。这表明 CGS-Mask 能够更快地帮助用户识别特征重要性,并且具有更高的准确性。
用户响应时间和选择结果
综上所述,CGS-Mask 作为一种与模型无关的显著性方法,不仅直观且用户友好,能够有效解释时间序列预测。无论是在合成数据还是真实世界数据中,其表现均超越了现有解决方案。特别是在医疗领域,CGS-Mask 在识别医疗记录中的显著特征方面展现出卓越能力,对于揭示疾病的发生、发展和恶化过程具有重要意义,具有巨大的应用潜力。
时间序列预测模型在医疗领域的前沿应用
时间序列预测是对具有时间顺序的数据进行分析,旨在通过构建模型来捕捉数据中的趋势、季节性和周期性模式。这些模型不仅能够预测历史数据的变化规律,还能对未来的发展趋势做出分析,其应用十分广泛,涵盖了金融、气象、医疗、交通和能源预测等多个领域。
在医疗领域,本文的第一作者,华中科技大学的陆枫教授持续关注序列预测模型的应用,除了上述研究外,她还曾与悉尼大学团队合作,在 Proceedings of the 37 AAAI Conference on Artificial Intelligence (AAAI’23) 上发表论文「A Composite Multi-Attention Framework for Intraoperative Hypotension Early Warning」。
论文原文:
https://ojs.aaai.org/index.php/AAAI/article/view/26681
在这篇论文中,研究人员提出了一个基于多模态与注意力机制的术中低血压跟随性预警框架。在两个大规模真实数据集上的实验表明,这种方法对于术中低血压事件早期预警可以达到高达 94.1% 的准确率,同时对信号采样率的要求大幅降低 3,000 倍。此外,在最具挑战性的 15 分钟平均动脉压预测任务中,多模态框架实现了 4.48 毫米汞柱的平均绝对误差,与现有解决方案相比,误差降低了 42.9%。
同样地,南京医科大学的研究团队也曾开发了一个时间序列模型,用于预测肝炎的发病情况。利用季节自回归移动平均模型和季节指数平滑模型,他们分析了不同类型肝炎的发病例数。
研究发现,每年 3 月是各种肝炎的高发期。在过去 10 年,甲型肝炎的发病率整体呈下降趋势;乙型肝炎的发病率波动不定,最近几年有所增加;丙型肝炎的发病率持续上升;而戊型肝炎的发病率基本保持稳定。这些发现为制定更有效的肝炎防控措施提供了重要的依据。该研究以「Time series analysis and forecasting of four hepatitis epidemic trends in China from 2012 to 2021」为题,发表于 Journal of Nanjing Medical University (Natural Sciences) 上。
综上,时间序列预测技术在医疗领域的应用展现出了巨大的潜力,随着科技的不断进步和数据的日益丰富,未来,我们期待看到更多创新性的时间序列预测模型和方法,为人类的健康福祉贡献更大的力量。