最新AI論文をキャッチアップ

実際の異状パターンに即した多変量時系列異状検知

実際の異状パターンに即した多変量時系列異状検知

異常検知

 3つの要点
✔️ 従来の古典的、あるいは深層学習モデルではとらえ切れなかった多変量時系列に特有の3つの異状パターンを明示的に把握できるフレームワークFMUADを提案しました
✔️ モジュラー構造と、簡潔さを考慮した損失関数が特徴的です
✔️ SOTAと同じ実世界データセットで比較したところ、精度とリコールがバランスよく高得点を取り、F1スコアで17%上回る結果を出しました

Forecast-based Multi-aspect Framework for Multivariate Time-series Anomaly Detection
written by Lan WangYusan LinYuhang WuHuiyuan ChenFei WangHao Yang
(Submitted on  13 Jan 2022)
Comments: Published at IEEE BigData 2021
Subjects:  Machine Learning (cs.LG)

code: 

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。  

はじめに

多変量時系列の異状検知は、実世界のアプリケーション上強い関心を持たれています。道路交通監視、金融詐欺検知、ウェブログ分析、ネットワーク分析などです。このサイトでもグラフを含むいくつかの手法について紹介してきました。実世界での運用にはさらに課題があると、VISAの研究者たちが取り組んでいます。

異状検知についての数ある課題の中で最も重要なものは、多変量時系列データそのものの性質にあります。例えば、複数の時系列間の相互効果であったりとか、系列パターン内の関係、周波数のシフトや突然のトレンドの変化などである。大部分のフォーキャストベースのモデルは、このようなパターンに明示的に対処していないため、欠陥に陥っています。

提案の手法は、3つの異状パターン(時系列間相関ダイナミクス、時系列内時間ダイナミクス、多スケール空間ダイナミクス)を特徴化するそれぞれのモジュールを持つモジュラーアプローチをとります。これらのモジュールは、統一インターフェイスで結合して学習されます。

もう一点は、異状イベントのラベルが不足することです。異状データは少ないため、ラベルに依存しないモデル、つまり教師なし学習が必要となります。 

まとめると、

・提案するFMUAD(Forecast-based Multi-aspect Unsupervised Anomaly Detection framework)は、異なるパターンの異状を捕捉します。フォーキャストベース手法の他のSOTAを17%以上上回るF1スコアを確認しました。

・異なる異状のパターンに明示的に対応するためにモジュラーアーキテクチャを取っているので、直観的で説明可能なフレームワークになっています。異なるモジュールを結合的に学習するので、それぞれのパターンの異状を捕捉するだけでなく、混合パターンの異状をも検知します。

・ フォーキャスト誤差だけでなく、簡潔さ(分散)も含む損失関数を新しく定義します。簡潔さは、クラス内の分散を制御する望ましい特性であると確かめられています。正常クラスの簡潔さを制御することにより、外れ値により敏感なタイトな表現を学習することを狙っています。

関連手法

時系列データの複雑さを表現するため、前述のようにグラフモデルが提案されていますが、モデルの複雑さが増すため、実世界のアプリケーションへの拡張が難しいです。結果、今日でも時系列データの普遍的に満足できる表現については激しく議論されています。

時系列異状検知についての幅広い文献を大きく3つのグループに分類できます。

1) 近接性ベース

  定義された距離により対象の類似性を定量化。大多数から距離が離れたものを異状と検出

2) 再構成ベース

  再構成誤差をコアとし、異状は大多数のデータ点とは異なる分岐にあると仮定。低次元空間から効果的に再構成できない。

3) フォーキャストベース

 過去データから予測できない通常でないパターンを異状と仮定。予測誤差から、異状を検出。

 フォーキャストベース手法は、フォーキャストの手法によりさらに分類されます。古典的な手法ARIMAは統計分析モデルであり、時系列データの自己相関を学習して、将来値を予測します。Holt-WinterFDAなども同様のコンセプトです。効率的である一方、データセットやモデルパラメータの選択に敏感であり、ドメインナレッジを必要とします。機械学習ベースの手法は、このような限界を解決しようとします。HTM(Hierarchical Temporal Memory)はストリームデータ中の異状を検出する教師なしシーケンスメモリアルゴリズムです。DingらはHTMとベイズネットワークを組み合わせ、多変量時系列異状検知のリアルタイムフレームワークを構築しました。LSTM-RNNはSOTA研究中で多く使われています。Hundmanの提案するLSTM-NDTはLSTMネットワークで予測を生成し、教師なし、ノンパラメトリックにスレショルドを決めるアプローチです。DAGMMは深層ネットワークとガウス混合モデルのパラメータを合わせて最適化して異状を検出します。

これらの手法は、あらゆる可能な異状をすべて捕まえるソリューションであり、異状パターン間で顕著に異なるためリスキーです。

提案手法

 Fig.2は高レベルの概念図で、Fig. 4が詳細の構造を示します。データはウィンドウ長kでフィードし、ウィンドウ単位での異状検知をします。予測モデルを作るための過去τ間のデータと結合したItを入力します。

3種の変化を検知するディテクターDc, Dt, Dsに分岐して処理されます。それぞれ、系列間相関、系列内時間パターン、マルチスケール空間パターンの変化を見るものです。

それぞれの特徴を捉えるために、インプットデータWtを変形してFt, Stを作ります。Ftは周波数行列、Stはサイン行列で系列間の相関情報を含みます。Fig.3のように3つを結合してYtを作成します。

・系列間相関ディテクター

系列間の相関を求めるのに、内積ではなくコサイン類似性を用いています。 Fig.4にあるように、ウィンドウデータ系列にした後、TF1変換でコサイン類似性をもとめ、特性行列系列にした後、ConvLSTMで時間的情報を抽出し、時間的アテンション演算で適応的に重みを調整しています。

・ 系列内時間パターンディテクター

系列内の時間的パターン捉えるために、ウィンドウ系列データに離散的フーリエ変換TF2を施し周波数行列系列にします。先ほどと同様、ConvLSTMと時間的アテンション演算を行います。 

・ マルチスケールパターンディテクター 

もうひとつの重要な異状パターンは、空間的ダイナミクスあるいは「値の変化」です。Fig. 1の(c), (d)のようなケースですが、(c)は容易に判断できますが、(d)は変化が緩やかでわずかであるため判断が難しいです。(d)のような場合もデータを時間軸に集約していくと、スパイク状になり検出しやすくなります。このような長期のダイナミクスを把握するために、Dilated CNNを用います。さらに1x1 Convと全結合層を通します。

・損失関数  

フォーキャスト誤差とそのばらつきに基づく損失関数を用います。フォーキャスト誤差は真のデータと予測データのL2ノルムをバッチに対して平均したl1です。さらに簡潔さ損失を導入します。フォーキャスト誤差のばらつきをバッチにわたり平均したl2です。最終的な損失関数はl1, l2を次のように掛け合わせて用います。

実験

評価に用いたデータセットは、他の論文でもよく使用されているSMD(Server Machine Dataset)とMSL(Mars Science Laboratory rover)です。

ベンチマーク対象モデルは、LSTM-NDT, DAGMM, LSTM-VAEの3つです。最初の2つはフォーキャストベースです。最後は、同じくLSTMを用いています。評価指標は、精度(P), リコール(R)とF1スコア(F1)です。TABLE IIが評価結果の一覧表です。FMUADは精度とリコールのバランスがよく、一貫してベストのF1スコアを叩き出しています。平均して17.8%の改善です。

直観的理解しやすさ

Fig. 5にMSL, SMD2つのデータセットについての、FMUADでの出力データを示しています。赤い部分が異状が検知された範囲で、上部が異状に関連すると思われる元の系列をマニュアルで選択したもの、下部がFMUADの出力です。

左のケースでは、4番目のデータの周波数が変わっています。右のケースでは、2,4番目のデータに突然の変化がある部分は気づきやすいですが、後半の変化が継続する部分は人には判断が難しいです。いずれもFMUADの出力ではわかりやすく検出されています。 

切り分け

モジュラリティを確認するために切り分け実験が行われています。3つのディテクターを1つずつ単独で起動した結果がFig. 6です。それぞれのディテクターが得意とする異状パターンを検出しています。

 TABLE IVはF1スコアを示します。期待した通りの結果になっています。

 TABLE Vには各ディテクターを単独で動作させた場合と、全部を動作させた場合を比較しています。いずれのケースでも全部を動作させたケースがもっともよい結果を出しています。さらにデータセットを変えた場合の変動がわずか0.0001しかなく、非常に安定したモデルであることが着目されます。

 損失関数には、ばらつきを制御する項が含まれていました。TABLE VIはこの項の効果を確認したものです。いずれのデータセットでも、ばらつき制御の効果が表れていることがわかります。

 

まとめ

この論文では、フォーキャストベースの教師なし多変量時系列異常検出マルチアスペクトフレームワーク(略してFMUAD)について説明しました。これは、このカテゴリの異常検出モデルでの大胆な試みで、異常パターンの特性を識別し、それらを「分割して征服する」アプローチで分類する方法です。モジュラーフレームワークを導入し、入力時系列が中間表現に変換され、各ターゲットパターンをより適切に捕捉し、その中間表現について、それぞれの予測を行う各検出器モジュールにフィードします。また、トレーニング中に学習表現の簡潔さを促進する新しい損失関数を実験しました。それらをすべてまとめるために、損失関数を適用して予測誤差を計算し、異常スコアを生成します。

3つのディテクターを合わせて学習して、公開参照データセットでのSOTAと対比してみると、最適な異常検出性能を持つことを証明できました。FMUADの標準F1スコアは、そのクラスの他のモデルよりも確かに高くなっています。また、検出メカニズムを人間の直感に関連付け、それぞれ割り当てた異常パターンに対応させることで、各検出器モジュールが有利に機能していることを証明しました。さらに、切り分けを通じてモジュール性の役割を調査し、3つのモジュールすべてを組み合わせることで、それぞれを単独で使用する場合よりも一貫して高い安定した性能を実現できることを確認しました。また、簡潔さに焦点を当てたl2損失項は、他の改善と比較してわずかではありますが、一貫した改善をもたらすことを確認できました。

機械学習コミュニティでみる最近のトレンドは、昔ながらの特徴工学アプローチへの反抗ともみえる、「エンドツーエンド」または「ワンサイズフィットオール」モデルに移行する傾向です。しかし、FMUADは、入力データに存在する個別のパターンが、エンドツーエンドのトレーニング可能な自己適応型モデルでありながら、ある程度の調整されたモデル設計を必要とする可能性があることを思い起こさせるかもしれません。

FMUADで実証した柔軟性がさらなる強化の機会を開くので、明らかにここが旅の終わりではありません。 1つには、新しいタイプの異常パターンを引き続き発見し、対応する検出器をその特性に合わせて調整して、それらのパターンを効果的に捕捉できるようにすることです。 2つめは、個々のモジュールがさらに最適に実行できるようにする検出器Dc、Dt、およびDsをより良く実装できる可能性があります。最後に、FMUADの3つの検出器は、相互に完全に分離され、最終的な集約器として動作しました。これらのモジュール間の相互作用を有効にすると、調査する価値のある興味深い観察結果が得られる場合もあります。全体として、このモデルがフォーキャストベースの異常検出モデルの可能性を増やしました。そして、より一般的な方向性にさらに取り組むための議論を始めることが期待するとしています。

グラフ構造との間に、複雑性と表現性のバランスを最適化できる構造が探索できるかもしれません。

 

友安 昌幸 (Masayuki Tomoyasu) avatar
JDLA G検定2020#2, E資格2021#1 データサイエンティスト協会 DS検定 日本イノベーション融合学会 DX検定エキスパート 合同会社アミコ・コンサルティング CEO

記事の内容等について改善箇所などございましたら、
お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。
どうぞよろしくお願いします。

お問い合わせする