
研究团队提出WeatherDreamer,用单一世界模型完成大气状态估计与预报
来源标题:WeatherDreamer: A World Model for the Weather
研究团队在论文中提出WeatherDreamer,一个将大气状态估计、仪器观测预测和逐小时自我修正整合在同一模型中的天气世界模型。它直接从观测数据学习预测与修正循环,不依赖物理模型或再分析数据。该方法旨在替代目前分别由不同系统完成的数据同化与预报流程。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在任何一个时刻,大部分大气都未被观测到,而每一次预报都始于对观测空白处状态的估计。如今,这一估计由一个系统完成,预报由另一个系统完成,卫星产品又由其他系统完成。
在一篇新论文中,我们描述了 WeatherDreamer,它在一个模型中完成了所有这些工作。它维护大气的内部图像,预测其仪器接下来会看到什么,并在每小时观测数据到来时进行自我修正。它直接从观测中学习这一循环,无需物理模型或再分析。
气象中心通过资料同化(DA)来估计大气状态:基于物理方程的短期预报预测仪器应该看到什么,再通过与观测对比来修正它。机器学习有一个与之密切相关的概念,称为世界模型。世界模型最初是为训练智能体而开发的,作为其环境的紧凑模拟,智能体从经验中学习它,并用它来预测接下来会发生什么(Ha & Schmidhuber, 2018; Hafner et al., 2019, 2020, 2023)。
WeatherDreamer 是一个大气世界模型,它学习整个“预测-修正”循环,而不是从物理方程中构建它:天气如何演变、每个仪器会测量到什么,以及该对每个仪器信任多少。
填补观测空白。在任何给定的小时内,只能看到完整天气状态的一小部分。WeatherDreamer 利用其大气内部图像在观测空白中传递信息,因此其预报会随着每小时的观测数据输入而改善。
学习到的信任,诚实的不确定性。每个仪器都有自己的误差,在业务系统中,专家手动调整对每个仪器的信任程度,这一过程每新增一个传感器都必须重复。WeatherDreamer 从数据中学习这种权重,无需被告知。它还知道自己有多不确定:其集合成员的校准优于业务集合,这对于任何需要决定在多大程度上依赖预报的人来说都很重要。
不随数据增长的成本。业务分析的成本足够高,以至于全球模型仅每六小时生成一次。WeatherDreamer 将每个观测折叠到相同的紧凑表示中,因此在单个 GPU 上进行全球每小时更新大约需要 1.5 分钟,无论到达多少观测数据。
WeatherDreamer 在每个时间步运行相同的循环。
读取任何观测。每个观测进入模型时都标记了测量它的仪器、位置、时间以及观测视角。卫星图像可以保持其原生分辨率,而气象站和探空气球则保持其精确位置,而不是被强制映射到网格上。添加新传感器意味着在其数据上进行训练,而不是针对特定仪器进行工程扩展。
同化。模型将新观测与其已经预期看到的内容进行比较,并在两者不一致的地方修正其内部图像。每个观测对图像的移动程度取决于模型已经知道的内容。结果是模型对当前大气的最佳估计。
随时间推进。学习到的动力学将内部图像向前推进一小时。预先已知的事物,如太阳位置和地形,引导每一步。为了预报,模型只需在没有新观测的情况下持续步进,每个集合成员遵循自己略有不同的路径以捕捉可能发生的情况。无论模型是在全球 50 公里还是区域几公里尺度上训练,循环都是相同的。只有网格和时间步长改变。
解码。轻量级解码器将紧凑的内部图像转换为所需的任何内容:降雨、地表日照、近地面天气、云顶高度,或特定卫星会看到什么。解码器可以在连续的位置和时间上查询,而不是在固定网格上。每个解码器独立运行,因此你只需计算所需的输出,而新的输出可以稍后仅通过训练其解码器来添加。
我们的全球日内模型在《WeatherDreamer: Learning a World Model from Multimodal Earth Observations》中描述。我们完全对照观测验证了它,并将其与业务预报和变分资料同化进行了比较。
地面站。在模型未见过的气象站,WeatherDreamer 的集合在风速方面,在所有 12 小时内的预报时效上都优于 NOAA 的 GEFS 和 ECMWF 的 IFS 集合,在 2 米温度方面前 8 小时也优于两者。即使所有气象站都被扣留,它在温度方面仍能优于 GEFS 达 11 小时,在风速方面达 12 小时。其不确定性估计也比两个业务集合的现实得多。
降水。尽管在推理时降雨从不是输入,WeatherDreamer 在 3 小时降雨方面是三个集合中最有技巧的,直到 6 小时,并且在第一小时对强降雨的定位能力是 GFS 的两倍以上。其概率也最可靠:当它给出 50% 的降雨概率时,降雨实际发生的频率为 40%,而 IFS 集合为 31%,GEFS 为 28%。
太阳辐照度。WeatherDreamer 在推理时从未看到地表日照,但在美国 123 个地面站,它在所有 12 小时内的预报时效上都优于 HRRR 和 GEFS,并在 3 小时时与 IFS 集合持平,尽管之后 IFS 领先。在分析时刻,它与站点测量值的吻合程度超过任何业务系统。
云顶高度。使用 1 年的 CloudSat 云顶高度数据训练,并对照 EarthCARE 检查,WeatherDreamer 对云顶的定位比业务 GOES 反演更准确,RMSE 为 4.4 公里对 4.8 公里。其误报率也只有一半。
学习到的同化。从未被告知每个仪器的噪声水平,WeatherDreamer 的更新行为却仿佛知道:其对微波探测仪和散射计风的隐含误差接近已知的仪器和反演误差。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。