時系列クラスタリングに自己エンコーダシェイプレットを適用
3つの要点
✔️ 時系列クラスタリングのための識別可能なシェイプレットを教師無しで探索し、時系列部分表現を学習するオートエンコーダーに基づくシェイプレットアプローチ、AUTOSHAPEを提案
✔️ 4つの目的、すなわち、潜在的な表現に対する自己教師付き損失、普遍性と異質性の両方に対する多様性損失、形状を保存するための再構成損失、そして最終的なクラスタリング性能を向上させるDBI目的を共同して、クラスタリングのための最終シェイプレットを学習
✔️ AUTOSHAPEが最先端の手法と比較して、精度面で著しく競争力があることが検証されており、その解釈可能性についても評価
AUTOSHAPE: An Autoencoder-Shapelet Approach for Time Series Clustering
written by Guozhong Li, Byron Choi, Jianliang Xu, Sourav S Bhowmick, Daphne Ngar-yin Mah, Grace Lai-Hung Wong
(Submitted on 6 Aug 2022 (v1), last revised 18 Aug 2022 (this version, v2))
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
概要
時系列のシェイプレットは，時系列クラスタリング(TSC)に有効な識別部分配列であることが最近わかってきました。シェイプレットはクラスタの解釈に便利だということです。現在、TSCの主な課題は、異なるクラスタを識別するための高品質な可変長シェイプレットを発見することです。本論文では、教師無しでシェイプレットを決定するために、オートエンコーダとシェイプレットの両方の利点を利用した最初の研究である、新しいオートエンコーダ-シェイプレットアプローチ(AUTOSHAPE)を提案します。このオートエンコーダーは、高品質のシェイプレットを学習するために特別に設計されたものです。具体的には、つぎの３つの特徴を持ちます。
ー 潜在表現学習を導くために、異なる変数の可変長のシェイプレット候補（時系列の部分列）に対する統一的な埋め込みを学習する最新の自己教師付き損失を採用し、統一空間において識別可能な埋め込みを選択するための多様性損失を提案
ー クラスタリングのために、元の時系列空間におけるシェイプレットを復元するための再構築損失を導入
ー 学習中のクラスタリング性能をAUTOSHAPEに知らせるために、Davies-Bouldin指数(DBI)を採用
そしてAUTOSHAPEについて幅広く実験しています。単変量時系列（UTS）に対するクラスタリング性能評価では、UCRアーカイブデータセットを用いてAUTOSHAPEと15の代表的な手法を比較しています。多変量時系列（MTS）の性能評価では、30個のUEAアーカイブデータセットでAUTOSHAPEを5つの競合手法と比較評価しています。その結果、AUTOSHAPEが比較された全ての手法の中で最も優れていることが検証されました。また、シェイプレットを用いたクラスタの解釈を行い、2つのUTS事例と1つのMTS事例において、それぞれクラスタに関する興味深い直観を得たことを説明しています。
（記事著者：時系列データの異状については、オフセット、ドリフト、スパイク、振動以外に、特有のパターンを持つものがあります。類似のコンセプトとして伝統的には、管理図での品質管理でWestern Electricルールが使われていますが、シェイプレットはこの考え方を拡張したものととらえることができるでしょうし、この論文で紹介しているAUTOSHAPEは可変長のシェイプレットを取り扱えるという点が、現場適用する上で利点になるのではないかと考えます。目的は、異状検知ではなく、クラスタリングです。）
はじめに
TIME series clustering (TSC)は、学術界と産業界の両方で数多くの応用があり、したがってTSCを解くための多くの研究アプローチが提案されてきています。TSC問題を解く古典的なアプローチは、全時系列ベース、特徴ベース、モデルベースに分類されます。これらのアプローチでは、生の時系列そのもの、特徴抽出、モデルパラメータ変換を行い、K-means、DBSCAN、または他のクラスタリングアルゴリズムを適用します。TSCの最近のトレンドは、生の時系列データからいくつかの局所的なパターンや特徴を見つけることです。これらのアプローチの中で、シェイプレットに基づく手法は、TSCにおいて優れた性能を繰り返し実証してきました。Fig. 1は、あるUCR UTSデータセット、すなわちItalyPowerDemandからAUTOSHAPEによって発見されたシェイプレットS1の例です。
シェイプレットは当初、時系列の分類問題のために提案されましたが、シェイプレットに関する代表的な研究では、それらは識別可能な時系列の部分文であり、解釈可能な結果を提供します。また、シェイプレットからの解釈可能性は、人間に関する認知的な指標によって評価されています。教師なしシェイプレット（u-shapelet）は、時系列のクラスタリングのためにラベルのない時系列データから初めて学習されました。また、TSCにおけるシェイプレット学習の効率化のために、スケーラブルu-shapelet法が提案されています。さらに、クラスタリングの品質を向上させるために、Zhang らは、USSL と呼ばれる教師なしシェイプレット学習モデルを導入しています。また，特徴抽出と自己教師付きクラスタリングを同時に最適化するためにSTCN が提案されています。
近年、オートエンコーダーに基づく手法（例：DEC，IDEC）がクラスタリング問題に適用され，有効な結果を出しています。これらは、生データ空間から低次元空間へのマッピングを学習するために、クラスタリング目的で最適化します。しかし、これらはテキストや画像のクラスタリングのために開発されたものであり、時系列のためのものではありません。次に、オートエンコーダーに基づくいくつかの手法（例えば、DTC や DTCR ）が時系列用に提案されています。これらは，いくつかの異なる目的の下で，時系列インスタンス全体の一般的な表現を学習するためにオートエンコーダーネットワークを利用します。学習されたエンコーダネットワークは当然ながら生の時系列を新しい表現に埋め込むために用いられ，最終的なクラスタリング（例えばK-means）のために生データを置き換えるために使われます。しかしながら，これらの方法は時系列インスタンス全体に焦点を当て，局所的特徴（時系列部分）の重要性を無視し，クラスタリングの理由，すなわち解釈可能性を見逃しています。
上記のオートエンコーダーに基づく研究とは異なり、我々は異なる変数の可変長時系列の部分列（すなわち、シェイプレット候補）に対する統一的な表現を学習します。全てのシェイプレット候補が同じ潜在空間に埋め込まれた後、候補間の類似性を測定し、クラスタリングのためのシェイプレットをさらに決定することが容易になります。重要なことは、オートエンコーダーアプローチのため、シェイプレットはもはや実時間系列の部分配列に制限されず、生データからのシェイプレット発見の範囲を拡大することです。
本論文では、AUTOSHAPEと呼ばれる、TSC問題に対する新しいオートエンコーダーベースのシェイプレットアプローチを提案します。我々の知る限り、これはTSCのためにシェイプレットベースの手法とオートエンコーダーベースの手法の両方の利点を生かした最初の研究です。Fig. 2にAUTOSHAPEの概要を示します。
クラスタリングのための最終的なシェイプレットを学習するために、4つの目的が特別に設計されています。
１）自己教師付き損失は、時系列部分文の一般的な統一的埋め込み（シェイプレット候補）を学習します。具体的には、時系列を表現するのに有効であることが示されているクラスタワイズトリプレットロスを採用します。
２）全ての埋め込みをクラスタリングした後、上位k個の候補を学習する多様性損失を提案します。学習された候補は、クラスタのセントロイドに最も近く、大きなクラスタが得られる、クラスタが互いに離れている、という二つの特徴を持つ高品質なものです。
３）選択された埋め込みを再構成損失により復号し、復号されたシェイプレットを得ます。このようなシェイプレットは、人間の解釈のために元の時系列の部分配列の形状を維持します。つぎに、元の時系列はデコードされたシェイプレットに関して変換されます。新しい変換された表現は、クラスタリングモデル（例えば、K-means）を構築するために渡されます。
４）クラスタリング結果を達成した後、シェイプレットを調整するためにDavies-Bouldin指数（DBI)が計算されます。
オートエンコーダーネットワークは、変換のための高品質なシェイプレットを選択するために、時系列の部分表現を共同で学習するために適用されます。変換のためのシェイプレットは、必ずしも生の時系列に限定されず、オートエンコーダによって復号化されます。同時に、AUTOSHAPEの再構成損失は、元の時系列と非常に異なる部分列を学習するのではなく、最終的なシェイプレットにおける生の時系列部分列の形状を維持します。
短変量時系列（UCRアーカイブ）と多変量時系列（UEAアーカイブ）の両方について包括的な実験が行われています。その結果、悪性化相互情報量（NMI）とランドインデックス（RI）の観点から、AUTOSHAPEは一変量時系列（UTS）と多変量時系列（MTS）でそれぞれ比較した15と6の代表手法の中で最も優れていることが示されました。AUTOSHAPEは36のUTSデータセットのうち15、30のMTSデータセットのうち24で最高の性能を発揮することに注目したいです。さらに、アブレーション研究により、自己教師付き損失、ダイバーシティ損失、DBI目的の有効性が検証されました。UCRアーカイブからの3つの事例（人体運動認識、電力需要、画像）とUEAアーカイブからの1つの事例（人体活動認識の脳波）を提示し、学習したシェイプレットの直感を説明します。
本論文の主な貢献は以下のようにまとめられます。
- TSCのための識別可能なシェイプレットを教師無しで発見するために、時系列部分表現を共同で学習するオートエンコーダーに基づくシェイプレットアプローチ、AUTOSHAPEを提案する。
- 4つの目的、すなわち、潜在的な表現に対する自己教師付き損失、普遍性と異質性の両方に対する多様性損失、形状を保存するための再構成損失、そして最終的なクラスタリング性能を向上させるDBI目的が、クラスタリングのための最終シェイプレットを学習するために特別に設計されている。
- UCR (UTS) データセットおよびUEA (MTS) データセットを用いたTSCの広範な実験により、我々のAUTOSHAPEが最先端の手法と比較して、精度面で著しく競争力があることが検証されている。
- また、学習されたシェイプレットは、生の時系列データから実際の部分列ではない可能性があるが、その解釈可能性をUTSとMTSのデータセットにおける4つのケーススタディで示す。
関連技術
本手法で用いる、シェイプレットベースの手法とオートエンコーダーベースの手法について説明します。
シェイプレットベースの手法
シェイプレット法は"Time series shapelets: a new primitive for data mining"でその解釈可能性に重点を置いて紹介され、その後、論理シェイプレット、シェイプレット変換、学習シェイプレット、Matrix Profile、効率的学習シェイプレットに関する研究が主に時系列分類に提案されるようになりました。また，教師なしシェイプレット法（通称：u-shapelet）は"Clustering time series using unsupervised-shapelets."で時系列のクラスタリングのために提案されました。また，Ulanova らにより，u-shapelet を効率的に発見するハッシュベースのアルゴリズムである Scalable u-shapelet 法が紹介されています。
k-Shapeは、均質で分離の良いクラスタを生成するために、スケーラブルな反復精密化手法に依存しています。k-Shapeでは、2つの時系列の距離を計算するために、正規化相互相関尺度が採用されています。Zhangらは、TSCのための教師なし部分学習(USSL)モデルを提案しました。シェイプレット学習、シェイプレット正則化、スペクトル分析、擬似ラベリングを組み込んだ 解析と擬似ラベリングを組み込んだものです。USSLは、分類のための時系列シェイプレット学習法 時系列シェイプレット学習法(LTS)に類似しています。
自己教師付き時系列クラスタリングネットワーク（STCN）は、RNNによる1ステップの時系列予測で特徴抽出を最適化し、時系列の時間的ダイナミクスを捉え、時系列の局所構造を維持するものです。
教師なしシェイプレットは、ラベル情報なしで発見されるため、時系列の分類だけでなく、時系列のクラスタリングにも用いることができます。Liらは、多変量時系列分類のためのシェイプレットを発見するShapeNetフレームワークを提案しました。これに対し、本論文は、単変量と多変量の両方の時系列に対してクラスタリングを行うために、どのようにシェイプレットを発見するかを調べた最初の仕事です。
オートエンコーダベースの手法
Deep embedding clustering (DEC) は、ディープニューラルネットワークを用いて、多くのデータ駆動型アプリケーションドメインに対して、特徴表現とクラスタ割り当てを同時に学習する一般的な手法です。低次元の特徴空間を学習した後、クラスタリングの目的が反復的に最適化されます。
Guoらは、定義されたクラスタリング損失が特徴空間を破壊し、その結果、無意味な表現を引き起こす可能性があることを発見しました。彼らの提案するアルゴリズム、改良型深層埋め込みクラスタリング（IDEC）は、不完全なオートエンコーダでデータ生成分布の構造を保持することができます。
Deep temporal clustering (DTC) は、次元削減のためのオートエンコーダーネットワークと、新しい時系列表現のクラスタリングのための新しい時間クラスタリング層を、ラベルを使用せずに単一のエンドツーエンド学習フレームワークに自然に統合しています。DTCR はseq2seqオートエンコーダ表現学習モデルを提案し、再構成タスク（オートエンコーダ用）、K-meansタスク（隠れ表現用）、分類タスク（エンコーダの能力を強化するため）を統合しています。
オートエンコーダの学習後、古典的手法（例えば、Kmeans）を隠れ表現に適用します。後述するように、本論文では、時系列クラスタリングのためのシェイプレットを決定するためのオートエンコーダの損失関数を特別に設計しています。
シェイプレット用のオートエンコーダ(AUTOSHAPE)
ここでは、AUTOSHAPEと呼ばれるオートエンコーダーに基づくシェイプレットアプローチを提案します。AUTOSHAPEはその名が示すように、オートエンコーダーネットワークをシェイプレット探索に採用します。AUTOSHAPEはシェイプレット候補の統一的な埋め込みを学習し、一方で元の時系列の部分的な形状を保存することにより、クラスタの直感的な理解を可能にするものです。具体的には、オートエンコーダーネットワークを用いて、時系列部分文の一般的な統一的埋め込み（シェイプレット候補）を以下の4つの目的により学習します。
1. 自己教師付き損失
2. 多様性損失
3. 再構成損失
4. Davies-Bouldin Index (DBI)目的
この手法では、ラベルを用いずに、4つの目的全てを用いて、シェイプレットを共同で学習します。Table Iに使用した表記とその意味をまとめます。
シェイプレット探索
ここでは、潜在的な表現に対する自己監視付き損失、普遍性と異質性の両方に対する多様性損失、オートエンコーダを学習するための再構成損失について詳しく紹介します。
1) 自己教師付き損失
異なる変数の可変長シェイプレット候補の統一的な埋め込みを学習することを目的とします。自己教師付き損失として、時系列部分集合の表現に有効であることが示されているクラスタワイズトリプレットロスを採用し、教師無しで埋め込みを学習させます。クラスタワイズトリプレットロス関数は、(i) アンカーと複数のポジティブサンプル間の距離(DAP )、(ii) アンカーと複数のネガティブサンプル間の距離(DAN )、(iii) ポジティブとネガティブのそれぞれのイントラ距離Dintra の総和で定義されます。クラスタワイズトリプレットロスを再掲します。
（記号の説明は原論文を参照のこと）
ポジティブ（ネガティブ）なサンプル間の距離も含まれる。含まれ、小さく（大きく）する必要があります。全陽性（陰性）サンプル間の距離の最大値 は，式2（式3）で示されます。
サンプル内損失は以下のように定義されます。
エンコーダーネットワーク
は、元の時系列空間から隠れ空間にマッピングします。埋め込み関数は
です。この関数は、自己教師付き損失を用いて学習されます。因果的順序に従うこと（すなわち、将来の値が現在の値に影響を与えないこと）のみを要件として、任意のニューラルネットワークアーキテクチャによってパラメータ化することが可能です。ここでは、Temporal Convolutional Network (TCN) を用いてエンコーダネットワークを実装します。また、オートエンコーダにはリカレントネットワークであるバニラRNNを実装しています。以下の実験では、TCNをデフォルトのネットワークとして用います。
2) 多様性損失
オートエンコーダが高品質な多様なシェイプレットを発見するために、オリジナルの多様性損失を提案します。
先行研究である USSLとDTCRの多様性を持つシェイプレットを選択するプロトコルに従い、シェイプレット変換のための多様なシェイプレットを選択します。新しい表現空間において、シェイプレット候補をクラスタリングします。クラスタリング後、いくつかの表現のクラスタが生成されます。このとき、各クラスタのセントロイドに最も近い候補を選択します。このとき、(i)各クラスタの大きさ、(ii)選択された候補間の距離の両方を考慮し、識別を行う多様性損失を提案します。
（記号の説明は原論文を参照のこと）
多様性損失は、2つの特徴を持つシェイプレットを選択するために設計されています。表現のクラスタサイズは候補の普遍性を決定し、距離はクラスタの異質性を示します。
3) 再構築損失
次に、再構成損失としてMSE（Mean Square Error)に導かれるデコーダネットワークを導入します。
（記号の説明は原論文を参照のこと）
分析： 従来のトリプレットロスは、正負の1つのアンカーを考慮するだけで、近傍構造の文脈的洞察を十分に用いず、トリプレットの項が必ずしも一致しないものでした。入力データの一般的な埋め込みを学習するために、我々は、多くの正と多くの負を考慮してペナルティを課す自己監視損失を提案します。さらに、多様性損失では、普遍性を表すサイズと多様性を表す距離の2つの側面を考慮し、シェイプレット変換のために高品質なシェイプレットを選択することを提案します。再構成損失は、最終的なシェイプレットの解釈可能性をサポートします。
シェイプレット調整
シェイプレット探索後、シェイプレットを用いて元の時系列を変換表現に変換します。ここで、各表現はベクトルで、各要素は元の時系列とシェイプレットの1つの間のユークリッド距離です。
直感的には，短い方の配列TpとTqの最も類似した部分配列との距離（すなわち，ベストマッチ位置）を計算するものです。
1) DBIロス
変換された表現に対して古典的なクラスタリング手法（例えば、K-means）を適用し、その後、シェイプレットのいくつかの調整を知らせるためにDBI目標を提案します。
DBIは測定のためのグランドトゥルースを必要としないため、AUTOSHAPEの教師なし学習と一致することから選択されました。
損失関数の微分を計算するためには、モデルの関係する関数がすべて微分可能である必要があります。しかし、式8の最大関数は連続かつ微分可能ではありません。そこで、最大関数の微分可能な近似を導入します。組織的に明確にするために、ここでは、以下のように簡略化します。
全体損失関数
最後に、AUTOSHAPEの総合損失LASは以下のように定義されます。
ここで、λは正則化パラメータです。
全体損失（式10）を最小化することにより、変換のためのシェイプレットを共同して学習します（Fig. 2参照）。シェイプレット候補生成後、① LTripletは、シェイプレット候補がその特性を把握するように、潜在的な表現を学習します。② LDiversityは、普遍性と異質性の両方を持つ候補を選択します。③ LReconstructionは、潜在表現を再構成し、候補の形状を保持します。次に、選択されたシェイプレット候補によって変換された表現に対して、クラスタリングアルゴリズム（例：K-means）を適用します。④ LDBIは、最終的なクラスタリング性能を向上させるために、シェイプレットを調整するために、クラスタリング結果から計算されます。
すべての損失関数はエンコーダネットワークをモデル化しますが、再構成損失とDBI損失はデコーダネットワークのみを構築します。
アルゴリズムの詳細は、原論文を参照してください。シェイプレット探索、シェイプレット変型、複雑性分析のブロックから構成されています。
実験
まず、UCR（単変量）データセットにおいてAUTOSHAPEと15の関連手法で行った包括的な実験を紹介します。次に、UEA（多変量）データセットにおいてAUTOSHAPEを特に5つの関連する手法と比較した結果を報告します。AUTOSHAPEと比較した手法は、STCN, DTCR, USSLで同じものです。
実験の設定
すべての実験は、2つのXeon E5-2630v3 @ 2.4GHz (2S/8C) / 128GB RAM / 64GB SWAPと2つのNVIDIA Tesla K80を備えたマシンで、CentOS 7.3 (64-bit) で実行されたものです。
本実験で使用した重要なパラメータであるバッチサイズ、チャンネル数、畳み込みネットワークのカーネルサイズ、ネットワークの深さはそれぞれ10、40、3、10に設定されています。学習率は小さい値η=0.001に固定し、ネットワーク学習のエポック数は400としました。シェイプレットの数は{1, 2, 5, 10, 20}から選択します。スライディングウィンドウの長さ（すなわちシェイプレット候補の長さ）は｛0.1, 0.2, 0.3, 0.4, 0.5｝ の範囲でいろいろ試してみます。各数値は元の時系列の長さの比率を意味します（例えば、0.1は元の時系列の長さの10%を意味する）。シェイプレットの数と長さは LTS、ShapeNet、USSLに準拠しました。
比較手法
ここでは、代表的な15種類のTSC手法を比較し、それぞれの手法の簡単な情報を以下に示します。
K-means: 元の時系列全体に対してK-meansを行う。
UDFS : 教師なし識別特徴選択法（l2,1-norm正則化）。
NDFS : 非負のスペクトル解析による非負識別特徴選択．
RUFS : 直交非負行列分解を用いたロバストな教師なし識別特徴選択．
RSFS : 教師なし特徴抽出のためのロバストスペクトル学習とスパースグラフ埋め込み．
KSC : K-meansのためのペアワイズ・スケーリング距離とセントロイド計算のためのスペクトル・ノルム．
KDBA : K-meansクラスタリングにおける動的時間ワーピング重心平均法
k-Shape : 正規化相互相関尺度の下で形状を探索するスケーラブルな反復精密化手順．
U-shapelet：ラベルのないシェイプレットを発見する。時系列クラスタリングのためのラベルのないシェイプレットを発見する．
USSL : ラベルのない時系列から、シェイプレット正則化、スペクトル分析、擬似ラベルを用いて、顕著な部分列を学習する。
DTC ：時系列データに対するオートエンコーダ。時系列の次元削減のためのオートエンコーダーと、新しい時系列クラスタリング層。
DEC ：特徴表現とクラスタリングを同時に学習する手法。特徴表現とクラスタ割り当てを同時に学習する手法。ディープニューラルネットワークを用いた特徴表現とクラスタ割り当ての同時学習手法。
IDEC : クラスタリングロスをガイダンスとして、オートエンコーダーで特徴空間を操作し、データ点を散乱させる。
DTCR : 時間再構成、K-means、分類を用いたクラスタ固有の隠れ時間表現の学習。
STCN : 自己教師付き時系列クラスタリングフレームワークで、特徴抽出と時系列クラスタリングを共同で最適化する。
単変量時系列での実験
k-Shape, USSL, DTCR, STCNなどの先行研究で用いられたプロトコルを踏襲しています。
時系列データセットの有名なベンチマークであるUCRアーカイブからの36個のデータセットがテストされました。データセットに関する詳細な情報は、UCR Time Series Classification Archiveから得ることができます。
手法の評価指標として正規化相互情報量（NMI）を用います。RI（rand index）の結果にも同様の傾向が見られるため，RIの背景については補足資料（原論文参照）にて示します。NMIが1に近いほど高品質なクラスタリングであることを示します。AUTOSHAPEの結果は10回実行した平均値であり、全てのデータセットの標準偏差は0.005未満です。
1) 一変量時系列に対するNMI
ベースラインのNMI結果は全て原著論文から引用しています。36個のUCRデータセットに対する全体のNMI結果はTable IIに示されています。
Table IIから、AUTOSHAPEの総合的な性能は、比較した15手法の中で1位であることがわかります。さらに、AUTOSHAPEは10個のデータセットで最も優れた性能を示し、STCNを除く他の手法よりもはるかに高い性能を示しています。AUTOSHAPEの1対1 Wins NMI数は、USSL、DTCR、STCNの1対1 Lossesに比べて少なくとも1.6倍は大きく、他の方法よりも明らかに大きいです。AUTOSHAPEは、BirdChickenやToeSegmentation1など、いくつかのデータセットにおいて、より高いNMI数を達成しています。1対1-Lossesのデータセットでの結果は、USSL(例: Ham, Lighting2) やDTCR (例: Car, ECGFiveDays)よりもわずかに低い結果となっています。
2) フリードマン検定とウィルコクソン検定
すべての手法に対して、Holmのα（5％）を用いたFriedman検定とWilcoxon符号付順位検定を実施します。Friedman検定は、15の手法にまたがる36のデータセットにおける差異を検出するためのノンパラメトリックな統計検定です。我々の統計的有意性はp < 0.001であり、α = 0.05より小さいです。よって、帰無仮説を棄却し、15手法全てに有意差があることがわかります。
次に、すべての手法の間でポストホック分析を行います。その結果は、Fig. 3の臨界差図によって可視化されます。
太い水平線は、有意差のない手法の集合をグループ化したものです。AUTOSHAPEは、STCN、DTCR、USSLを除く他の手法を明らかに上回っていることに注目してください。しかし、STCNやDTCRと比較すると、AUTOSHAPEはブラックボックスの代わりに、クラスタリングのための識別可能な部分配列であるシェイプレットを提供していることがわかります。AUTOSHAPEの再構成ロスは、元の時系列にない部分列を学習するのではなく、最終的なシェイプレットの詳細を維持し、解釈しやすくしています。
3) シェイプレット数の変化
BirdChicken, Coffee, SwedishLeaf, ToeSegmentation1の4つのデータセットにおいて、異なるシェイプレット数がAUTOSHAPEの最終的なNMIに与える影響を比較しました。Fig. 4は、シェイプレット数を変化させた場合のNMIを示したものです。
4つの異なるデータセットが異なる傾向を示しており、データセットの適切なシェイプレット数を導いています。例えば、BirdChickenでは、シェイプレット数を変化させてもNMIは安定します。また、SwedishLeafでは、シェイプレット数が1から20まで増加するとNMIは急激に上昇し、その後安定します。したがって、そのシェイプレット番号は20に設定されます。
4) 切り分け分析
LT riplet、LDiversity、LDBIの効果を検証するために、AUTOSHAPEを用いた切り分け実験を行いました。AUTOSHAPEとその3つのアブレーションモデルを比較しました。AUTOSHAPEとその3つの切り分けモデル（自己教師付きロスなし（w/o triplet）、ダイバーシティ・ロスなし（w/o diversity）、DBIロスなし（w/o DBI））との比較を示します。
Table IIIから、3つの要素すべてが最終的なクラスタリング性能の向上に重要な貢献をしていることがわかります。特に、一般的な統一表現学習（selfsupervised loss）は、w/o tripletのNMI結果が他の2つの損失よりも常に悪いので、重要な役割を果たします。また、シェイプレット候補の選択（多様性損失）とDBI目的により、最終的な性能が明確かつ一貫して改善されることが分かりました。
5) RIに関する他方式との比較
ベースラインのRI結果は全て、原著論文から引用しました。36個のUCRデータセットに対する全体のRI結果はTable IVに示されています。
Table IVから、AUTOSHAPEの総合性能は比較された15手法の中で1位であることがわかります。さらに、AUTOSHAPEは9つのデータセットで最も優れた性能を発揮しています。これは、STCNを除く他の手法よりも高いです。AUTOSHAPEの1対1勝利のRI数は、他の全ての手法の1対1損失より明らかに大きいです。AUTOSHAPEの総最高RI数は、STCNを除くUSSLやDTCRよりも大きく、他の手法よりも明らかに大きいです。AUTOSHAPEは、BirdChickenやToeSegmentation1などのいくつかのデータセットで、明らかに高いRI数を達成しています。1対1損失データセットでの結果は、USSL（例：肉、SonyAIBORobotSurface）やDTCR（例：照明2、ワイン）よりもわずかに低い程度です。
6) ネットワークの比較
オートエンコーダーにTemporal Convolutional Network (TCN) とリカレントネットワーク（例えば、vanilla RNN )を用いた場合の性能を比較します。最終的なNMI（Fig. 5（a））とRI（Fig. 5（b））の性能について、TCNとバニラRNNを比較した結果を示します。最終的に、TCNとバニラRNNのNMIとRIの差は、ほとんどのデータセットで無視できる程度であることがわかります。統計的検定では、どちらのネットワークが他よりも優れているという証拠はありません。ネットワークは因果的順序付け（すなわち、将来の値が現在の値に影響を与えないこと）に従うことが唯一の条件です。
7) UTSの解釈可能性に関する実験
シェイプレット法の強みである解釈可能性をさらに検討しました。2つのデータセットからAUTOSHAPEによって生成されたシェイプレット（k =1、2）を報告します。これらのデータセットが選ばれたのは、単にドメイン知識があまりなくても提示できるからです。Fig. 6とFig. 7から、クラスタの元の時系列のいくつかの部分配列が、そのシェイプレットと類似していることが観察されます。
ケーススタディ1：ToeSegmentation1
ToeSegmentation1データセットは、CMU Graphics Lab Motion Capture Database(CMU)から得られた、人間の歩行認識のz軸値の左つま先です。このデータセットは，"正常歩行 "と "異常歩行 "の2つのカテゴリからなり，"正常歩行 "には，足が不自由な歩行や脚が痛む歩行などが含まれます。このうち、異常歩行のカテゴリでは、俳優が正常な歩行が困難であるように見せかけています。
Fig. 6から、上位2つのシェイプレットS1およびS2は、通常歩行クラスにおいてより頻繁に出現していることが容易に見て取れます。S1は正常な歩行の1単位を示し、S2は連続した2単位の歩行の間隔を示します。
ケーススタディ2：ItalyPowerDemand
ItalyPowerDemandは、1997年のイタリアの12ヶ月の電力消費量時系列から導き出されました。データセットには2つのクラスがあり、4月から9月の夏と10月から3月の冬である。Fig. 7 の左側に示すように、S1 を AUTOSHAPE で学習させました。学習されたシェイプレットから、夏の午前5時から午後11時までの電力需要は、冬のそれよりも低いことがわかります。これは、データを収集した当時のイタリアでは、冬場の朝の暖房や夏場の冷房がまだ少なかったためです。
多変量時系列での実験
次に、MTS 上で実施した実験から得られた主な結果 を紹介します。MTS 上での手法の評価指標として、NMI を採用します。ランドインデックス（RI）の結果は、同様の傾向を示すため省略します。比較した手法として、Kmeans、GMM、k-Shape、USSL、DTCR を選択しました。これらの手法は MTS データセットを考慮し ていないため、MTS 版では異なる変数を単純に 1 つの変数に連結しています（例：k-Shape-M、USSL-M、DTCR-M）。6手法の結果はいずれも10回実行した平均値であり、すべてのデータセットの標準偏差は0.01以下です。
1) 多変量時系列に対するNMI。30個のUEA MTSデータセットに対するNMIの総合結果をTable Vに示します。
Table Vから、AUTOSHAPEの総合的な性能は比較した6つの手法の中で1位であることがわかります。
さらに、AUTOSHAPEは22のMTSデータセットで最も良い性能を示し、これは他の5つの手法より大幅に多いです。この結果は、AUTOSHAPEが異なる変数から高品質なシェイプレットを学習できることを示しています。
2）フリードマン検定とウィルコクソン検定
Friedman検定とHolmのα（5%）を用いたWilcoxon-signed rank検定を行います。Friedman検定は、6つの手法にまたがる30のUEAデータセットにおける差異を検出するために使用されます。我々の統計的有意性はp < 0.001であり、α = 0.05より小さい。したがって、帰無仮説を棄却し、6つの手法全てに有意差があることがわかります。
次に、比較したすべての手法の間で、ポストホック分析を行います。その結果は、Fig. 8の臨界差図によって可視化されます。AUTOSHAPEが他の5つの手法より有意に優れていることがわかります。
3）シェイプレット数の変化
BasicMotions、Epilepsy、SelfRegulationSCP1、StandWalkJumpの4つのMTSデータセットにおいて、シェイプレット数の違いがAUTOSHAPEの最終的なNMIに与える影響をさらに比較しました。
Fig. 9は、6種類のシェイプレット数を変化させた場合のNMIを示しています。
4つのデータセットで異なる傾向を示しており、データセットに適したシェイプレット数の選択を示しています。例えば、Epilepsyでは、シェイプレット数が1から2に増加するとNMIが急激に増加し、その後安定した推移を示します。従って、そのシェイプレット数は2に設定されます。
4) MTSの解釈可能性に関する実験
最後に、学習したシェイプレットがMTS上でどのように解釈されるかを調べます。Fig. 10に、EpilepsyデータセットからAUTOSHAPEで生成したシェイプレット（例：k=2）を記載します。繰り返しになりますが、このデータセットを選んだのは、単にドメイン知識があまりなくても図示できるからです。Epilepsyデータセットは、健康な参加者が実行するクラス活動をシミュレートして生成されたものです。このデータセットは、「歩く」、「走る」、「のこぎり」、「発作の模倣」の4つのカテゴリから構成されています。
まとめ
本論文では、AUTOSHAPEと呼ばれる、時系列クラスタリングのための新しいオートエンコーダーベースのシェイプレットアプローチを提案しています。以下の目的を通じて、シェイプレット候補の統一的な埋め込みを学習するオートエンコーダネットワークを提案しました。
自己教師付き損失は、時系列部分文（シェイプレット候補）の一般的な埋め込みを学習するためのものです。多様な候補を選択するために、シェイプレット候補間の多様性損失を提案します。再構成損失は、解釈可能性を高めるために、元の時系列の形状を維持するものです。DBIはクラスタリング性能を向上させるために、ネットワーク学習を導くための内部指標です。UTSとMTSのデータセットにおいて、我々のAUTOSHAPEが他の14手法と5手法に対して優位であることを広範な実験により示しています。また、UCR UTSデータセットにおける3つのケーススタディとUEA MTSデータセットにおける1つのケーススタディにより、学習されたシェイプレットの解釈可能性を示しています。今後の課題としては、TSCに対するシェイプレットベースの手法の効率性と欠損値について研究する予定とのことです。
この記事に関するカテゴリー
