中期天气预报(≤15天)是科学界长期面临的重大挑战。大气作为典型的混沌系统,对初始条件极为敏感,微小误差会迅速放大,导致预报偏离实际。虽然集合数值天气预报通过多组扰动模拟来估计不确定性,已成为主流方法,但其计算资源随精度与时效要求的提升呈指数增长。 这一瓶颈正推动学界转向数据驱动的新途径寻求突破。
近年来,生成式建模的突破性进展为该领域提供了新的解决路径。其中,滚动序列扩散模型(RSDM)作为扩散模型的典型代表,采用渐进式噪声调度机制,对远期预测状态施加更强噪声, 以模拟现实世界中不确定性随时间逐步累积的过程,从而有效提升预测结果的真实性。但是,当前 RSDM 仍构建于早期去噪扩散概率模型(DDPM) 框架之上,其基础架构的局限性在一定程度上制约了模型整体性能的进一步提升。
值得注意的是,英伟达在 NeurIPS 2022 的最佳论文中提出的阐明扩散模型(EDM), 通过对经典 DDPM 的统一与改进,显著提升了训练稳定性与生成质量。若能在此基础上,将 EDM 中的时间损失加权机制等关键优化策略有效整合至 RSDM 中,则有望显著提升其建模精度与运行效率。
基于此,英伟达与加州大学圣迭戈分校的研究团队在 EDM 框架基础上,面向序列建模需求,系统改进了噪声调度、去噪网络参数化、预处理流程、损失加权策略及采样算法,构建出增强型阐明滚动扩散模型(ERDM)。该研究重点攻克了「渐进式噪声调度」与「时间损失加权」的协同设计问题, 为混沌动力系统的概率预测提供了新的高效路径。
相关研究成果以「Elucidated Rolling Diffusion Models for Probabilistic Weather Forecasting」为题,已入选人工智能领域的顶级学术会议 NeurIPS 2025。
论文地址:
https://doi.org/10.48550/arXi...
关注公众号,后台回复「ERDM」获取完整 PDF
更多 AI 前沿论文:
https://hyper.ai/papers
数据集:Navier-Stokes 与 ERA5 气象数据
为支持模型的训练与验证,该研究选取了两类具有明确应用背景的基准数据集,分别对应流体动力学建模与中期天气预报任务。
在流体动力学实验中,研究人员使用了 Navier-Stokes 流体动力学基准数据集。 该数据集构建于 221×42 的网格结构,每个模拟案例中均随机设置了圆形障碍物,这些障碍物会改变流体的运动路径。为保持实验条件一致,所有模拟中的流体黏度均固定为 1×10⁻³。数据集记录了流体运动的核心物理场信息,包括 x 方向速度场、y 方向速度场以及压力场。在模型训练与测试过程中,边界条件与障碍物掩码作为辅助输入,以帮助模型准确捕捉边界效应与障碍物影响。测试阶段的目标是基于单个初始状态,预测之后 64 个时间步的流体演化过程。
在中期天气预报基准测试中,研究人员采用 ERA5 再分析数据集, 其空间分辨率为 1.5°,对应 240×212 的网格规模。该数据集共包含 69 个预报变量,涵盖高空与地表两类关键气象要素。高空变量涉及 13 个气压层(单位:hPa)的温度(t)、位势高度(z)、比湿(q),以及风场的 u、v 分量;地表变量则包括 2m 温度(2t)、平均海平面气压(mslp)和 10m 高度风场的 u、v 分量(10u 与 10v)。模型训练阶段使用 1979 年至 2020 年逐小时的 ERA5 数据,以覆盖长期气候特征;评估阶段则选取 2021 年 00 时和 12 时(UTC)共 64 个不同的初始气象条件,以检验模型在不同初始状态下的中期预报性能。
ERDM 模型:融合创新与核心架构设计,为混沌动力系统建模提供新路径
ERDM 的核心贡献在于将滚动序列扩散模型(RSDM)中「噪声随预测时长逐步增强」的思想,与 EDM 经过验证的规范化设计相融合, 为流体运动轨迹、气象预报序列等混沌动力系统建模提供了一条兼具理论严谨性与实践鲁棒性的新路径。
ERDM 首先改进了噪声调度机制。 不同于传统线性或余弦调度,它设计了一种贴合序列生成特点的滚动式噪声规划,将生成窗口划分为多个连续时段,并为每个时段分配不同的噪声强度,相邻时段之间平滑衔接。在训练中,如下图所示,模型通过随机采样不同噪声水平,学习适应各类噪声场景;在生成时,噪声从较高初始水平逐步衰减,最终输出清晰结果。ERDM 还调整了关键的曲率参数,使其更贴合序列生成任务,从而在去噪过程中保留更多有效信息。
序列长度 W 的噪声调度比较
在此基础上,ERDM 引入概率流常微分方程(ODE), 用以精确控制噪声的添加与移除过程。该方程描述了数据从噪声状态演化至清晰结果的完整轨迹,可视为生成过程的「导航图」。如下图所示,推理时,模型通过数值方法迭代求解 ODE:首时刻数据在完全去噪后作为预测结果输出,其余时刻则保留部分噪声;随后启动滚动机制,将这些部分去噪数据作为下一轮生成的前序状态,并补充一个全新噪声时刻,重复上述 ODE 求解过程,从而实现长序列的连续生成。
带有窗口的 ERDM 采样
ERDM 的训练围绕去噪器网络(denoiser network)展开。 该网络借鉴 EDM 的标准化预处理方法,能够根据各时刻的噪声水平自适应处理数据,目标是从带噪序列中恢复原始信息。在训练策略上,ERDM 采用「不确定性感知」的加权方法,既保留常规加权以稳定训练,又对信息更丰富的中间噪声样本赋予更高权重,引导模型重点学习对生成过程至关重要的中间状态。具体训练中,模型从干净序列出发,添加随机强度噪声后尝试复原原始数据,通过比较预测与真值的差异来优化参数。实验表明,引入时间相关的噪声设计还可进一步提升长程预测的稳定性。
为更好捕捉时序数据的动态特征,ERDM 在去噪器结构上做了进一步优化。它摒弃了会破坏时间关联的 2D 卷积和计算昂贵的 3D 卷积,转而采用 2D U-Net+ 时间注意力(temporal attention)的混合架构。2D U-Net 主干负责提取各时刻的空间特征,时间注意力层则捕捉时刻之间的依赖关系,噪声信息被嵌入正则化层中以调节网络行为。该设计在效率与性能之间取得平衡,虽稍复杂于纯 2D 结构,但显著提升了序列预测质量。此外,研究还发现对时序数据进行预训练,比事后调整的方式更加有效, 可与整体框架形成良好协同。
某 2D U-Net 示意图
实验评估:性能媲美当前最先进的气象预报系统,计算效率更高
为验证 ERDM 在混沌动力系统建模中的有效性,研究人员围绕概率预报准确性与不确定性量化可靠性两大目标展开系统评估。实验采用两类核心指标: 连续分级概率评分(CRPS)用于综合评价预报值与实际观测的整体偏离程度,其数值越低代表性能越好;扩散技巧比(SSR)则通过对比集合方差与集合平均误差,判断不确定性估计的合理程度——SSR 低于 1 表示不确定性被低估,高于 1 则表示高估,理想情况下应趋近于 1。
在 Navier-Stokes 流体建模实验中,研究人员采用的基准模型包括 DYffusion 以及一组基于 EDM 构建的基准模型。实验结果表明,ERDM 在预测后期展现出显著优势,其 CRPS 相比最佳 EDM 基准提升约 50%。 尽管 EDM 类模型在起始阶段表现略优,但其误差随时间的增长更快;DYffusion 则在整个预测过程中未能超越 EDM 基准。从不确定性校准角度看,ERDM 持续优于存在明显欠扩散的 EDM 基准,且研究发现后者难以在维持 CRPS 性能的同时改善校准表现。
在 Navier-Stokes 测试的 64 个时间步长上对 ERDM 与基准模型进行预报性能对比
在更具挑战性的 ERA5 中期天气预报任务中,研究所设基准包括内部 EDM 基准和外部业务模型,如 IFS ENS、NeuralGCM ENS 与 Graph-EFM。在计算效率方面,ERDM 仅需 4 块 H100 GPU 训练 5 天,远低于其他数据驱动方法。 实验结果显示,ERDM 在 CRPS 指标上稳定优于 EDM 基准,最大提升幅度达 10%,同时也表现优于 Graph-EFM;与 IFS ENS 和 NeuralGCM 相比,ERDM 虽展现出竞争力,但在短期部分变量预测上仍稍逊于 IFS ENS,分析认为这与初始场构建方式有关,未来可通过 IFS ENS 初始化策略进一步改进。值得注意的是,ERDM 在概率校准方面与 IFS ENS 共同表现出最优性能,而其他数据驱动模型普遍存在短期欠扩散问题。在物理一致性方面,ERDM 生成的 14 天预报功率谱与 IFS ENS 高度吻合, 体现了优于多数机器学习模型的物理真实性,而 NeuralGCM 则在中高频段出现明显的能量低估现象。
对 ERDM 的性能评估
混沌预测新纪元,构建连接确定与随机的新桥梁
在 ERDM 所聚焦的混沌动力系统建模与序列预测领域,全球学术界与企业界正通过跨学科融合与技术落地,不断推动该方向的创新突破,这些探索既延续了「物理先验与数据驱动结合」的核心逻辑,也拓展了概率预测与不确定性量化的应用边界。
一方面,学术界的突破集中在流体动力学与扩散模型架构的深度创新上。谷歌 DeepMind 联合纽约大学、斯坦福大学等机构的团队,将物理信息神经网络(PINN)与高精度高斯-牛顿优化器结合, 在 Navier-Stokes 方程等 3 类流体方程中首次系统发现新的不稳定奇点,为非线性偏微分方程的复杂图景探索提供了全新范式。
论文标题:Discovery of Unstable Singularities
论文地址:https://go.hyper.ai/iGh6t
在扩散模型架构优化层面,MIT CSAIL 团队提出的「扩散强制(DF)」框架,将全序列扩散模型与自回归预测的优势结合, 通过为每个 token 分配独立噪声水平并采用因果架构,实现了长序列生成的稳定性与灵活性提升,其衍生的蒙特卡洛树引导(Monte Carlo Tree Guidance, MCTG)策略能显著提高高奖励轨迹的采样效率,已在机器人规划、视频预测等领域验证了有效性。
论文标题:Diffusion Forcing:Next-token Prediction Meets Full-Sequence Diffusion
论文地址:https://arxiv.org/pdf/2407.01392
另一方面,企业界的创新实践则更聚焦于技术的场景化落地与效能提升, 尤其在气象预报与多领域序列预测中展现出显著价值。华为公司联合重庆市气象局发布的「天资·12h」人工智能气象预报模型(V2.0),基于盘古大模型的嵌套架构,融合分钟级雷达拼图与高精度地形数据,通过时空权重优化将预报分辨率提升至 1 公里/小时,在重庆暴雨过程中精准刻画了雨带形态与降水强度。在通用序列预测领域,亚马逊提出的 DeepAR 模型通过 LSTM 架构与联合训练策略,实现了多变量时间序列的概率预测,其生成的概率分布能有效量化不确定性,已在零售库存管理、能源消耗预测等场景中落地,通过捕捉时间序列间的关联关系提升预测精度。
未来,随着基础模型的演进与跨领域知识的交融,ERDM 及其同类技术路径,正逐步构建起一座连接确定性方程与实际工作中的不确定性的桥梁,它们不仅服务于天气预报、流体模拟等传统科学计算任务,更将为机器人规划、能源调度乃至生物动力学等复杂序列决策问题,提供新一代的概率化建模基础。
参考链接:
1.https://mp.weixin.qq.com/s/v7...
2.https://mp.weixin.qq.com/s/e5...
3.https://mp.weixin.qq.com/s/58...