非定常トランスフォーマー
3つの要点
✔️ NeurIPS 2022採択論文です。非定常区間を含む時系列データについての予測モデル「非定常トランスフォーマー」を提案しています
✔️ このモデルは2つの部分からなります。系列定常化と非定常化アテンションです。これにより、系列予測能力とモデル能力との間のジレンマを解決しました。
✔️ 6つの実世界のデータを用いて、従来の主要なモデルと性能比較し、50%近いMSE削減を実現しました。
Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting
written by Yong Liu, Haixu Wu, Jianmin Wang, Mingsheng Long
(Submitted on 01 Nov 2022, Last Modified on 12 Jan 2023)
Comments: NeurIPS 2022
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
概要
本論文は、非定常データを含む時系列データにおいて予測精度を高めるためにトランスフォーマーに工夫を加えました。トランスフォーマーは、そのグローバルレンジなモデル化能力により、時系列予測にも大きな力を発揮してきましたが、実世界の非定常データでは、その性能は著しく低下し、時間経過とともに結合分布が変化してしまいます。
これまでの研究では、予測精度を向上させるために、原系列の非定常性を減衰させる定常化を主に採用してきました。しかし、非定常性を取り除いた定常化系列は、現実世界のバースト的な事象の予測にはあまり役に立たないことがあります。この問題は、本論文では過剰定常化と呼ばれ、Transformerが異なる系列に対して区別できない時間的注目を生成することにつながり、深層モデルの予測能力を阻害します。
系列予測能力とモデル能力との間のジレンマに取り組むために、2つの相互依存的なモジュールを持つ汎用フレームワークとして、非定常トランスフォーマーを提案します： すなわち系列定常化と非定常化です。
具体的には、系列定常化は各入力の統計量を統一し、予測可能性を高めるために復元された統計量で出力を変換します。定常化の問題に対しては、非定常アテンションが考案され、生の系列から学習された区別可能なアテンションを近似することにより、本質的な非定常情報を時間依存性に回復させることができます。
著者らの非定常トランスフォーマーフレームワークは、一貫して主流のトランスフォーマーを大きく改善させ、トランスフォーマーでは49.43%、インフォーマーでは47.34%、リフォーマーでは46.89%のMSEを削減し、時系列予測におけるSOTAとなります。
はじめに
時系列予測は、天気予報、エネルギー消費計画、金融リスク評価など、実世界のアプリケーションはますます幅広くなっています。トランスフォーマーは、その積層構造とアテンションメカニズムの能力により、深いマルチレベルの特徴から時間的依存性を自然に捉えることができ、時系列予測タスクへの完全な適合を見せています。
しかしながら、その優れたアーキテクチャ設計にもかかわらず、データの非定常性のために、トランスフォーマーが実世界の時系列を予測することはまだ困難です。非定常時系列は、統計的特性や共同分布（同時確率分布）が時間とともに連続的に変化することを特徴とし、時系列を予測しにくくしています。その上、深層モデルを変化する分布上でうまく一般化させることは基本的な問題です。これまでの研究では，時系列を定常化することで前処理することが一般的に行われており、これにより，より良い予測可能性のために生の時系列の非定常性を減衰させ，深いモデルに対してより安定したデータ分布を提供できます。
しかし、非定常性は実世界の時系列に固有の性質であり、予測のための時間依存性を発見するための良い指針でもあります。実験的に、著者らは、定常化された系列に対する訓練が、トランスフォーマーによって学習されたアテンションの区別を弱めることを発見しました。バニラトランスフォーマーは図1(a)のように異なる系列から異なる時間依存性を捉えることができますが、定常化系列で学習したトランスフォーマーは図1(b)のように区別のつかないアテンションを生成する傾向にあります。この問題は、過定常化と呼ばれ、トランスフォーマーに予期せぬ副作用をもたらし、イベント性のある時間依存性を捕捉できなくなり、モデルの予測能力を制限し、さらにはモデルがグランドトゥルースから非定常性の大きな偏差を持つ出力を生成することを誘発することになります。したがって、より良い予測可能性のために時系列の非定常性を減衰させ、同時にモデル能力のための過定常性問題を緩和する方法は、予測のパフォーマンスをさらに向上させるための重要な問題です。
| 図１ 平均μと標準偏差σを変化させた異なる系列に対する学習された時間的アテンションの可視化。 (a)は，生の系列に対して学習させたバニラトランスフォーマーによるもの。(b)は定常化された系列で学習されたトランスフォーマーによるもので、同様のアテンションを示している。(c)は非定常変換器によるもので、過剰な定常化を避けるために非定常的なアテンションを伴う。 |
本論文では、時系列予測における定常化の効果を探り、一般的なフレームワークとして非定常トランスフォーマーを提案します。これは、トランスフォーマーを効率的に変形し、現実世界の時系列に対する大きな予測能力を持たせています。提案するフレームワークは、2つの相互依存的なモジュールを含んでいます： 非定常系列の予測可能性を高めるための系列定常化と、過剰定常化を緩和するための非定常化アテンションです。技術的には、系列定常化はシンプルで効果的な正規化戦略を採用し、余分なパラメータなしで各系列の主要統計量を統一します。また、非定常アテンションは、非定常化データの注目度を近似し、生の系列に内在する非定常性を補償します。以上の設計により、非定常トランスフォーマーは、定常化された系列の大きな予測可能性と、元の非定常データから発見された重要な時間依存性を確保します。著者らの方法は、更なる改良のために様々なトランスフォーマーに一般化することができます。その貢献は3つあります：
- 非定常系列の予測能力が実世界の予測に不可欠であることを明らかにした。詳細な分析により、現在の定常化アプローチは過定常化問題を引き起こし、トランスフォーマーの予測能力を制限することを発見した。
- 非定常変換器を一般的な枠組みとして提案し、それは系列をより予測しやすくするための系列定常化と、元の系列の非定常性を再度取り込むことによって過定常化問題を回避するための非定常化アテンションを含む。
- 非定常トランスフォーマーは、4つの主流トランスフォーマーを一貫して大きく上回り、6つの実世界ベンチマークでSOTAの性能を達成しました。
先行研究
時系列予測のためのディープモデル
近年、時系列予測において、RNNベースのモデル、トランスフォーマーが適用されてきました。トランスフォーマーは、シーケンスモデリングで大きな力を発揮します。シーケンス長に対する2次関数的な計算量の増加を克服するために、その後の研究は自己アテンションの複雑さを軽減することを目的としています。特に時系列予測においては、Informerが自己アテンションをKL-divergence基準で拡張し、優位なクエリを選択します。Reformerは、類似のクエリを割り当てることでアテンションを近似するローカルセンシティブハッシュ(LSH)を導入しています。複雑さが改善されただけでなく、以下のモデルは時系列予測のための繊細な構成要素をさらに発展させている。Autoformer は、分解ブロックを正規の構造に融合させ、系列的なつながりを発見するためにAuto-Correlationを開発しました。Pyraformer は、異なる階層を持つ時間的依存関係を捉えるために、ピラミッドアテンションモジュール（PAM）を設計しています。また、トランスフォーマーを使用しない他の深いモデルも顕著な性能を達成しています。N-BEATS は、トレンド項と季節項の明示的な分解を提案し、強い解釈可能性を持っています。N-HiTS は、それぞれの周波数帯域を持つ時系列を扱うために、階層的なレイアウトとマルチレートサンプリングを導入しています。本論文では、アーキテクチャ設計に焦点を当てた従来の研究とは異なり、時系列の本質的な性質である定常性という基本的な観点から系列予測タスクを分析します。また、一般的な枠組みとして、著者らの提案する非定常トランスフォーマーは、トランスフォーマーに基づく様々なモデルに容易に適用できることも注目してください。
時系列予報のための定常化
時系列の予測可能性にとって定常性は重要ですが、現実の時系列は常に非定常性を持っています。この問題に対処するために、古典的な統計手法であるARIMAは、差分処理によって時系列を定常化します。深層学習モデルに関しては、非定常性を伴う分布変動問題が深層学習予測をより困難にしているため、定常化手法が広く研究され、深層モデル入力の前処理として常に採用されています。Adaptive Normは、サンプリングされた集合のグローバル統計によって、各時系列の断片に対してzスコアの正規化を適用します。DAIN は、非線形ニューラルネットワークを採用し、観測された学習分布で時系列を適応的に定常化します。RevINは、2段階のインスタンス正規化を導入し、モデルの入力と出力をそれぞれ変換して、各系列の不一致を低減しています。これに対し、著者らは、時系列を直接定常化すると、特定の時間依存性をモデル化する能力が損なわれることを発見しました。そこで、これまでの方法とは異なり、非定常トランスフォーマーでは、定常化に加え、非定常化アテンションをさらに発展させて、生系列の本質的な非定常性を注目させます。
非定常トランスフォーマー
前述のように、定常性は時系列予測可能性の重要な要素です。これまでの「直接定常化」設計は、時系列の非定常性を減衰させて予測性を高めることができますが、実世界の時系列に固有の特性を明らかに無視しており、その結果、図1に示すように過定常化問題が発生します。このジレンマに対処するため、一般的なフレームワークとして非定常トランスフォーマーを提案します。このモデルには、2つの補完的な部分があります： すなわち、時系列の非定常性を減衰させる「系列定常化」と、時系列の非定常情報を再取得する「脱定常化」です。これらの設計により、非定常トランスフォーマーは、データの予測可能性を向上させ、同時にモデルの能力を維持することができます。
系列定常化
非定常な時系列は、深層モデルにとって予測タスクを困難なものにします。なぜなら、推論中に統計量が変化した時系列（典型的には平均と標準偏差が変化した時系列）をうまく一般化することが困難だからです。パイロット作品であるRevIN は、学習可能なアフィンパラメータによるインスタンス正規化を各入力に適用し、対応する出力に統計量を復元することで、各系列を類似の分布に従わせます。この設計は学習可能なパラメータなしでもうまく機能します。そこで、余分なパラメータを用いずにトランスフォーマーを基本モデルとしてラップします。図2に示すように、これは2つの対応する操作を含んでいます： 平均と標準偏差の変化による非定常系列を処理する正規化モジュールと、モデル出力を元の統計量に戻す非正規化モジュールです。以下はその詳細です。
| 図2 非定常トランスフォーマー 系列定常化は、各入力系列を正規化し、出力を非正規化するために、ベースモデルのラッパーとして採用される。非定常注意は、非定常化系列から学習した注意を近似するために、元の注意メカニズムに取って代わり、学習した非定常係数τ, ∆で現在の時間依存性の重みを再スケールする。 |
正規化モジュール 各入力系列の非定常性を減衰させるために、時間軸上のスライディングウィンドウによる正規化を実施します。各入力系列x に対して、翻訳とスケーリング操作によって変換し、x′ とします。正規化モジュールは、以下のように定式化されます：
ここで、
は要素ごとの除算を意味し、⊙は要素ごとの積です。正規化モジュールは、各入力時系列間の分布の不一致を減少させ、モデル入力の分布をより安定させます。
非正規化モジュール 図2に示すように、ベースモデルHが長さOで将来値を予測した後、非正規化を採用して、モデル出力y′で変換し、最終的な予測結果として 
を得ます。非正規化モジュールは、以下のように定式化されます：
2段階の変換により、ベースモデルは定常化された入力を受け取ることになり、安定した分布に従うため、一般化が容易になります。また、この設計により、時系列の並進・スケーリング摂動に対してモデルが等変量となり、実世界の系列予測に有利となります。
非定常的なアテンション
各時系列の統計量は対応する予測値に明示的に復元されるが、元の系列の非定常性は非正規化だけでは完全に復元することはできません。例えば、系列正規化は、異なる時系列x1、x2から同じ正規化入力x′を生成することができ、ベースモデルは、非定常性に絡む重要な時間依存性を捉えることができない同一のアテンションを得ることになります（図1）。つまり、過定常化によって損なわれる効果は、深層モデルの内部、特にアテンション度の計算で起こるのです。さらに、非定常時系列は、定常化前の生データよりもより類似した分布に従う、同じ平均と分散を持ついくつかの系列チャンクに断片化・正規化されます。したがって、このモデルは、元の系列の自然な非定常性とは相容れない、過定常かつ非日常的な出力を生成する可能性が高くなります。
系列定常化によって引き起こされる過剰定常化問題に対処するため、著者らは、定常化せずに得られるアテンションを近似し、元の非定常データから特定の時間依存性を発見できる、新しい非定常化アテンション機構を提案します。
プレーンモデルの分析 前述したように、過定常化問題は、内在する非定常性情報が消失することによって引き起こされ、ベースモデルが予測のためのイベント的な時間依存性を捕捉できなくなります。そこで、元の非定常系列から学習したアテンションを近似することを試みます。自己アテンションの公式は次の通りです。
ここで、Q, K, Vはそれぞれdk次元の長さSのクエリー、キー、値であり、Softmax(-)は行ごとに行われます。正規化モジュールの後、モデルは定常化された入力x′を受け取ります。線形特性の仮定に基づき、アテンション層はQ′を受け取ることが証明できます。そして、対応する変換されたK′、V′も同様です。系列定常化がなければ、自己アテンションにおけるSoftmax(-)の入力は
となるはずですが、今はQ′、K′に基づいてアテンションが計算されます。
Softmax(-)は入力の行次元で同じ並進に対して不変であるため、次式が成り立ちます。
式5は、生の系列xから学習したアテンション
の直接表現を導きます。この表現は、定常化系列x′からの現在のQ′、K′を除いて、系列定常化によって除去される非定常情報σx、μQ、Kを必要とします。
非定常の注目度 非定常系列に本来の注目度を取り戻すために、消失した非定常情報を再び計算に戻すことを試みます。式5に基づき、非定常因子として定義される正のスケーリングスカラー
とシフトベクトル
を近似することがポイントです。深層モデルでは厳密な線形特性はほとんど成立しないため、多大な労力をかけて実因子を推定・利用する以外に、非定常化したx、Q、Kの統計から、単純だが有効な多層パーセプトロン層で直接非定常因子を学習することを試みています。現在のQ′、K′からは限られた非定常情報しか発見できないので、非定常性を補償するユニークで合理的なソースは、正規化されていない元のxです。そこで、式5の直接的な深層学習の実装として、多層パーセプトロンをプロジェクターとして適用し、非定常化されたxの統計量μx，σxから非定常係数τ，△を個別に学習します。そして、非定常化アテンションは、以下のように計算されます：
ここで、非定常係数τと∆は全階層の非定常アテンションで共有されています（図2）。非定常化アテンション機構は、定常化系列Q′、K′と非定常化系列x、μx、σxの両方から時間依存性を学習し、定常化値V′と掛け合わせます。したがって、定常化系列が持つ予測可能性の恩恵と、生系列が持つ固有の時間的依存性を同時に維持することができます。
全体的なアーキテクチャ 時系列予測におけるトランスフォーマーの先行利用に従い、著者らは、エンコーダーが過去の観測から情報を抽出し、デコーダーが過去の情報を集約して単純な初期化から予測を洗練する、標準のエンコーダー-デコーダー構造（図2）を採用しています。正規の非定常トランスフォーマーは、バニラトランスフォーマーの入力と出力の両方に系列定常化によってラップされ、セルフアテンションを提案する非定常アテンションで置き換えることにより、ベースモデルの非定常系列予測能力を向上させることができます。トランスフォーマーの変形では、非定常情報を再統合するために、Softmax(-)内部の項を非定常係数τ , ∆で変換します。
実験
6つの実世界の時系列予測ベンチマークで非定常トランスフォーマーの性能を評価するために大規模な実験を行い、さらに様々な主流のトランスフォーマーの変形で提案するフレームワークの一般性を検証します。
データセット 使用したデータセットは次の通りです：
(1) Electricityは、2012年から2014年までの321クライアントの1時間ごとの電力消費量を記録する。
(2) ETTには、2016年7月から2018年7月まで、電気の変圧器で収集された脱油係数と電力負荷の時系列が含まれています。ETTm1 /ETTm2は15分毎、ETTh1/ETTh2は1時間毎に記録されています。
(3) Exchange 1990年から2016年までの8カ国の日次為替レートのパネルデータを収集しています。
(4) ILIは、2002年から2021年にかけて米国疾病対策センターが毎週報告する、1週間のインフルエンザ様疾患患者数と総患者数の比率を収集したものです。
(5) Trafficには、2015年1月から2016年12月まで、サンフランシスコ湾岸地域のフリーウェイで862個のセンサーによって測定された1時間ごとの道路占有率が含まれています。
(6) 天気には、2020年にマックスプランク生物化学研究所のウェザーステーションから10分ごとに収集された21の気象指標を持つ気象時系列が含まれています。
定常性の度合いを定量的に測定する指標として、Augmented Dick-Fuller（ADF）検定統計量を採用しています。ADF検定統計量が小さいほど、定常性の程度が高いことを示し、分布がより安定していることを意味します。表1は、データセットの全体的な統計量を要約し、定常性の度合いによって昇順に並べたものです。各データセットを時系列に従ってトレーニング、検証、テストのサブセットに分割する標準的なプロトコルに従いました。
| 表１ データセットの概要。ADF検定統計量が小さいほど、より定常的なデータセットであることを示す。 |
ベースライン 非定常トランスフォーマーフレームワークによって装備されたバニラトランスフォーマーを多変量と単変量の両方の設定で評価し、その効果を実証します。多変量予測には、6つの最先端の深層予測モデルを含みます： Autoformer, Pyraformer, Informer, LogTrans, ReformerとLSTNet。単変量予測については、7つの競合ベースラインを含みます： N-HiTS, N-BEATS, Autoformer, Pyraformer, Informer, ReformerとARIMA。 さらに、トランスフォーマーの正統的な変形と効率的な変形の両方で、提案するフレームワークを採用します： Transformer, Informer, Reformer, Autoformer
主な結果
予測結果 多変量予測の結果については、著者らのフレームワークを搭載したバニラトランスフォーマーは、すべてのベンチマークと予測長において、一貫して最先端の性能を達成しました（表2）。特に、非定常性の高いデータセットにおいて、非定常トランスフォーマーは他の深層学習モデルを見事に凌駕しました。予測長が336の場合、Exchangeでは17% (0.509 → 0.421) 、ILIでは25% (2.669 → 2.010) のMSE削減を達成しており、非定常データにおいて深層学習モデルの可能性はまだ制限されていると言えるでしょう。また、定常性の異なる2つの典型的なデータセットの単変量結果を表3に示します。非定常なトランスフォーマーは、依然として顕著な予測性能を実現しています。
| 表2 予測長O∈{96, 192, 336, 720}を変えた場合の予測結果比較。入力配列の長さはILIが36、その他が96に設定されている。 |
| 表3 非定常性の強い2つの典型的なデータセットにおいて、予測長O∈{96, 192, 336, 720}を変えた場合の単変量結果を示す。入力配列の長さは96とした。 |
フレームワークの一般性 本フレームワークを4つの主流トランスフォーマーに適用し、各モデルのパフォーマンス・プロモーションを報告します（表4）。著者らの手法は、一貫して他のモデルより予測能力を向上させます。全体として、Transformerでは平均49.43%、Informerでは47.34%、Reformerでは46.89%、Autoformerでは10.57%の性能向上を達成し、それぞれが以前の最先端を上回る性能を持つようになりました。また、各モデルのネイティブブロックと比較して、本フレームワークの適用によるパラメータや計算量の増加はほとんどなく、計算の複雑さを維持することができました。このことから、非定常トランスフォーマーは、トランスフォーマーベースのモデルに広く適用できる効果的で軽量なフレームワークであり、その非定常予測性を高めることで最先端の性能を達成できることが検証されました。
| 表4 提案するフレームワークをTransformerとその亜種に適用した場合の性能促進。すべての予測長の平均MSE/MAE（表2に記載）と、本フレームワークによる相対的なMSE削減率（Promotion）を報告する。 |
切り分け研究
品質評価 提案フレームワークにおける各モジュールの役割を探るため、ETTm2の予測結果を、バニラトランスフォーマー、直列定常化のみトランスフォーマー、および提案の非定常トランスフォーマーの3モデルで比較します。図3では、2つのモジュールが異なる観点からトランスフォーマーの非定常予測能力を強化していることがわかります。系列定常化は、各系列入力間の統計的特性の整合性に着目し、トランスフォーマーが分布外のデータを一般化するのに非常に有効です。しかし、図3(b)に示すように、学習のための過度の定常化環境は、深層学習モデルが有意に高い定常性を持つ無難な系列を出力しやすくし、非定常な現実世界のデータの性質を無視することになります。そこで、非定常化アテンションを用いることで、現実の時系列に内在する非定常性に配慮したモデルとなっています。これは、現実世界の時系列予測に不可欠な、詳細な時系列変動の正確な予測に有益です。
| 図3 異なるモデルによるETTm2の予測値の視覚化 |
定量的性能 上記のケーススタディに加えて、定常化手法である深層学習メソッドRevINと系列定常化との定量的予測性能比較も行います。表5に示すように、RevINと系列定常化の予測結果は基本的に同じであり、これは提案するフレームワークにおける正規化のパラメータフリー版が時系列を定常化するのに十分な性能を持つことを示します。さらに、非定常変圧器における非定常注意の提案により、性能がさらに向上し、6つのベンチマークすべてで最高値を達成しました。特にデータセットが高度に非定常である場合（Exchange: 0.569 → 0.461, ETTm2: 0.461 → 0.306）、非定常化アテンションがもたらすMSE低減は顕著です。この比較から、時系列を定常化するだけではトランスフォーマーの予測能力に限界があること、非定常トランスフォーマーの補完メカニズムが非定常系列予測に対するモデルの潜在能力を適切に解放できることが明らかになりました。
| 表5 TransformerとReformerに異なる方法を適用して得られた予測結果。比較のため、すべての予測長の平均MSE/MAEを報告する（表2）。 |
モデル分析
過定常化問題 過定常化問題を統計的に検証するため、トランスフォーマーに前述の手法をそれぞれ学習させ、予測した時系列を時系列に並べ、グランドトゥルースと定常性の度合いを比較します（図4）。定常化手法のみを搭載したモデルでは、予想外に高い定常性を持つ系列が出力される傾向があるのに対し、非定常化アテンションによって支援された結果は、実際の値に近い（相対定常性∈[97%, 103%]）ことがわかります。また、系列の定常性の程度が高くなるにつれて、過定常化の問題が大きくなります。このような定常性の度合いの大きなズレは、定常化のみを行ったトランスフォーマーの性能が劣っていることを説明することができます。そして、内部改修としての非定常化アテンションnが過定常化を緩和することも実証しています。
| 図４ 相対的な定常性は、モデル予測値とグランドトゥルースとの間のADF検定統計量の比率として計算される 左から右へ、データセットはますます非定常性を増している。定常化のみを行ったモデルでは、高度に定常化した系列を出力する傾向があるが、本手法では、よりグランドトゥルースに近い定常性を持つ予測値が得られる。 |
非定常情報再取込の探索 過定常化を区別しにくいアテンションと規定することで、アテンション計算メカニズムに設計空間を絞り込んでいることが注目されます。そこで、トランスフォーマーアーキテクチャの左側にあるフィードフォワード層（DeFF）にμとσを再投入することで、非定常情報を取得する他のアプローチを探る実験を行いました。具体的には、学習したμとσを各フィードフォワード層へ繰り返し投入します。表6に示すように、非定常性の再組み込みは、入力が定常化（Stationary）している場合にのみ必要であり、予測には有益ですが、モデル出力の定常性の不一致を招くことになります。そして、提案するデザイン（Stat + DeAttn）は、さらなる促進を図り、ほとんどのケースでベスト（77％）を達成しました。理論的な分析に加え、実験結果は、アテンションの非定常性を再取得する提案設計の有効性をさらに検証しています。
| 表６ フレームワークの設計を切り分け Baselineはバニラトランス、Stationaryは系列定常化の追加、DeFFはフィードフォワード層への非定常性の再組み込み、DeAttnは脱定常化注意による再組み込み、Stat + DeFFは系列定常化の追加とフィードフォワード層への再組み込みの意味。Stat + DeAttnは提案するフレームワークである。 |
まとめ
本論文では、時系列予測を定常性の観点から取り上げました。非定常性を減衰させるだけで過定常化を招く先行研究とは異なり、著者らは、系列の定常性を高め、非定常情報を再取得する内部メカニズムを刷新する効率的な方法を提案し、データの予測可能性とモデルの予測能力を同時に向上させました。実験的に、本方法は6つの実世界ベンチマークにおいて、優れた一般性と性能を示します。また、提案する非定常トランスフォーマーフレームワークの各コンポーネントの有効性を検証するために、詳細な導出と切り分けを行いました。将来的には、過定常化問題に対するよりモデルに依存しない解決策を模索する予定としています。
この記事に関するカテゴリー
