【ClimODE】Neural ODEを用いた気象予測
3つの要点
✔️ 気象予測のためのNeural ODEであるClimODEを提案
✔️ 短・長距離相互作用を獲得する二つのネットワークを導入
✔️ 全球・地域レベルでのstate-of-the-artを達成
ClimODE: Climate and Weather Forecasting with Physics-informed Neural ODEs
written by Yogesh Verma, Markus Heinonen, Vikas Garg
(Submitted on 15 Apr 2024)
Comments: Accepted as ICLR 2024 Oral. Project website: this https URL
Subjects: Artificial Intelligence (cs.AI); Emerging Technologies (cs.ET); Machine Learning (cs.LG); Atmospheric and Oceanic Physics (physics.ao-ph)code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
概要
この研究は気象予測を目的とした、Neural ODEシステムであるClimODEを提案しました。ClimODEの特徴として、気象予測において重要な幾つかの空間スケールを持った相互作用を適切に獲得するために、局所的な依存関係はローカルな畳み込み演算によって、全体的な依存関係はグローバルなattention機構によって獲得するよう設計されています。その結果、従来手法よりも少ないパラメータ数でありながら、全球・地域レベルにおいて、従来手法を凌駕しstate-of-the-artを達成しました（表１として従来の深層学習を基礎とする方法との比較を示しています）。また、この研究では気象予測の不確かさを適切に取り込むための工夫も議論されており、その結果、天気の昼夜サイクルによる温度変動を適切に予測することに成功しました。
背景
気象予測は伝統的に、数値計算を用いて行われてきました。特に、地球全体レベルでの気象予測はスーパーコンピュータなどの巨大な計算機によって莫大な計算を基礎として達成を目指してきました。しかし、その莫大な計算量や次々に過去の情報から未来の情報を演繹する上での誤差の蓄積による精度の悪化などによって、その達成は困難を極めています。つまり、気象予測は人類の積年の夢であるということができます。この研究は、そんな気象予測にNeural ODEを用いてアプローチしたものです。
関連研究
ここでは、この研究に関連した従来の気象予測の二つの取り組みに関して簡単にまとめます。
数値気候モデル
現在の数値気候モデルは、短期的な天気予想と長期的な気候予測モデルに分類されます。特に、最先端のモデルとして、大気・雪氷圏・陸地・海洋における物理を統合的に解析する地球システムモデル（ESM）と呼ばれるモデルがあります。しかし、それらのモデルは一定の成功は収めましたが、初期値に対する鋭敏さやそれぞれのモデル間の構造的な不一致、地域による差異、高い計算負荷などの問題を抱えています。これらが、数値気候モデルの発展を妨げています。
深層学習による気候予測
深層学習の高い予測性能に期待し、深層学習を用いた気候予測の試みも多数存在します。それらは、基本的なニューラルネットワークやグラフニューラルネットワーク、Transformerなどを応用して気象を予測しようという取り組みです。しかし、それらの方法は基本的には気象データのみから予測の実現を目指すもので、物理的なメカニズムを加味していません。また、予測の不確実性を得ることができません。
提案手法
Neural Transport Model
ここでは、この論文で導入された気候モデルのそれぞれの要素を簡潔に紹介します。また、図１にこの論文で提案されたClimODEの概略図を示しています。
・移流方程式
この論文では、気候を
として表記される$K$種の物理量の時空間系列としてモデル化します。また、この論文ではシステムが以下の移流方程式に従うと仮定しました。
ある地点における、物理量の時間変化は移流と圧縮によって記述されることを示しています。 つまり、これは特定の物理量の保存則を記述していると考えることができます。
・流速
この論文では、これまでの研究に倣って、流速を以下のようにモデル化します。
つまり、この表式はある物理量の流速の時間変化が、その物理量と物理量の空間勾配、流速、そして時空間の埋め込みベクトル($\psi$)によって決定されるとモデル化していると理解することができます。
・支配方程式
上に示した、二つの式を用いることで、ある物理量とその流速は以下の支配方程式によって記述することができます。
・短距離相互作用と長距離相互作用のモデル化
上に示したある物理量の流速のモデルを見ると、ある地点における流速の時間変化が、その地点における物理量とその空間勾配、その物理量の流速によって記述されます。しかし、実際の気象問題を考えると長距離の相互作用によってその地点の流速が変化すると予想されます。そのため、比較的長距離の相互作用もモデル化する必要があります。そのため、この論文中では流速の時間変化を以下のように実装しました。
つまり、第一項は畳み込みネットワークによって局所的な相互作用を記述し、第二項はattention機構を持つネットワークによって長距離的な相互作用を記述するようにネットワークを設計しました。
・不確実性の定量化（emission model）
さらに、この論文では不確実性の定量化も取り組んでいます。そのための簡単な取り組みとして、それぞれの物理量が以下のようにガウス分布に従うと仮定しました。
これによって、平均的な挙動からのズレと分散を考えています。この設定は、実際に気象問題の持つ不確実性を極めて単純にガウス分布によってモデル化した取り組みであると言えます。重要な点として、この設定に物理的な根拠はなく、扱いやすさの観点からガウス分布に従うという極めて強い仮定が存在することには留意しなければなりません。この論文中では、このモデルをemission modelと呼んでいます。
・損失関数
この論文で導入された損失関数は以下です。第一項が観測と予測の誤差による損失を表しています。また、第二項として、予測の分散に対する正則化項を追加しています。これによって、分散の大きさが発散することを防いでいます。
実験結果
この論文中では、例題として ６~３６時間後の気候状態を予測することを検討しています。また、データセットとしてはERA5と呼ばれるものから5.625°、６時間刻みの時空間分解能でデータを抽出して作成しました。また、検証の対象として物理量としては、地上温度（t2m）、大気温度（t）、ジオポテンシャル（z）、地上における風ベクトル（u10,v10）を選択しました。また、比較のために、いくつかの従来手法として、Transformerを基礎とするClimaX（この研究と同一のデータセットによって学習）、大規模な適応的フーリエニューラルネットワークを応用したFourCastNet（FCN）と通常のNeural ODEを準備しました。また、「European model」としてよく知られている、最先端の物理シミュレーションを基礎とする統合的予測システムIFSも比較対象として検討しました。
大域的予測の比較
図２と表２にClimODEとそれぞれの手法によって予測されるそれぞれの物理量の二乗平均誤差と精度の比較を示しています。この結果は、ClimODEは従来の手法よりも精度良く気象予測ができていることを示唆しています。また、ClimODEの性能は最新鋭のIFSに肉薄していることは特筆すべきです。
いくつかの地域における局所的予測の比較
筆者らは上述の大域的な予測に加えて、いくつかの地域に限定した予測性能を比較しました。表３にその結果を示しています。この結果からも、ClimODEの従来の手法と比較した時の優位性が示唆されます。
不確実性の定量化とemisison modelの効果
筆者らは、不確実性の定量化を目的として導入したemission modelの予測に対する効果を検証するために。特定の地点における、地上温度の時系列変化の予測を不確実性も含めて可視化しました。図３にその結果を示していますが、この結果から、特定の地点における温度変動が、emission modelの導入によって適切に捉えられていることが分かります。
また、筆者らは面白い試みとして、全球レベルで12:00 AM UTCにおけるバイアスと分散の空間分布を可視化しました。図４に結果を示しています。この結果から、emission modelの導入によって昼夜サイクルが適切にバイアスとして抽出されていることが確認されます。加えて、それぞれの地点における不確実性も分散として可視化されています。この結果から、ClimODEが海洋上においては比較的高い確度を持って予測しているが、北側の陸地付近では比較的低い角度になっていることが確認できます。このような予測のある種の信頼性にアプローチできる点は、ClimODEの顕著な特徴であると言えます。しかし、上述のように、この不確実性に関する物理的な解釈などについては、今後もさらなる議論を必要とする点に関しては注意しなければなりません。
導入したコンポーネントの効果
筆者らは、導入したそれぞれのコンポーネントによる性能に対する効果を検証するために、ClimODEに対してアブレーション分析を行いました。図５にその結果を示しています。ここから、それぞれの要素が統合的に性能向上に寄与していることが分かります。
まとめ
気象における物理的な連続性を適切に加味したデータ駆動の予測モデルであるClimODEを提案しました。ClimODEは従来手法よりも少ないパラメータで、それらを凌駕する性能を示しました。それは、IFSにすら肉薄するものです。これは、物理的な正則化を導入したデータ駆動型のアプローチの有効性を支持する結果です。一方で、この研究の議論は数十時間の比較的短期的な予測に焦点を当てたものでした。そのため、長期的なスパンにおける気候変動などを正確に予測し得るかに関しては、筆者らも指摘しているように、依然として不明確です。そのため、ClimODEをベースとする方法論のさらなる議論が必要であると言えます。しかし、それらを鑑みても、筆者らの試みは野心的かつ高いポテンシャルを秘めたものであり、今後の発展が期待されます。
この記事に関するカテゴリー
