ドメイン知識を必要としないマルチスケール特徴値抽出を機械寿命予測に適用

Time-series 2021年11月30日

3つの要点
✔️ 回転軸受を例に、残存耐用年数の予測モデルを改良
✔️ 詳細度を多段階にモデル化するU-Net構造と、GANを組み合わせることで、ドメイン知識や手動設定を必要としない分別／予測モデルを提案
✔️ 現場で必要とされる教師なしモデルの実現には、さらに研究を続ける必要がいる

Generalized multiscale feature extraction for remaining useful life prediction of bearings with generative adversarial networks
written by Sungho Suh, Paul Lukowicz, Yong Oh Lee
(Submitted on 26 Sep 2021)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

はじめに

製造業へのAIの適用例を展示会で見ていると、画像、文書（自然言語）に続いて、機械部品の劣化についての異状検知系が多いようです。特に振動解析に挑んだものがよくみられます。この論文は、回転軸受の消耗、劣化の予知についてのものです。同様の手法が、ポンプやバルブなどにも転用できるのではないかと思い取り上げました。

（この論文の対象領域に対して異なるアプローチをROHMがAEC/APC Asia 2021で発表しています。関心のある方は、参照されるといいと思います。）

PHM（Prognostics and Health Management）技術は，製造機械や設備，発電所などの産業システムから状態情報を収集し，解析や予測検証によって故障箇所を予測することで，システムの故障を検知し，事前にメンテナンススケジュールを立てることを可能にする技術です。PHM技術の1つである転がり軸受の残存耐用年数（RUL）を予測することで，予期せぬ故障の発生を防ぎ，信頼性を向上させることができます。RULの予測については、多くの研究が行われており、モデルベースの手法とデータドリブンの手法に分類されます。モデルベースの手法は，物理法則や数学的関数に基づいた解析モデルによってRULを推定するものです。これらの手法には，物理法則に基づく手法，経験則に基づく手法，カルマンフィルター，粒子フィルターなどがあります。しかし，これらの手法は，複雑化する産業システムにおいて正確なモデルを構築するために，専門家の知識を必要とします。近年，機械学習の大幅な発展に伴い，専門家の知識を必要としないデータ駆動型の手法が注目を集めています．データ駆動型の手法は，収集した機械データと劣化状態との直接的な関係を機械学習技術によって捉えるものです。

近年、深層学習を用いたRUL予測手法が提案され、従来のデータ駆動型の手法よりも優れた予測性能を実現しています。これらの深層学習ベースのRUL予測手法は成功裏に開発されてきましたが、3つの挑戦的な問題についてはあまり重要視されていませんでした。

(1)これらの手法は、特徴を抽出するためにドメイン知識を必要としたり、特徴の種類を手動で指定しなければならない。

(2) 前述のデータ駆動型の手法では、トレーニングデータとテストデータが同じセンサーによって同じ動作条件で収集されたものであること、または同じ分布から得られたものであることを前提としています。しかし，産業界では，機械の作業条件はタスクごとに変化することが多く，トレーニングデータとテストデータが異なるエンティティから収集される可能性があるため，このような仮定は現実的ではありません。

(3) 正確なRUL予測のためには，機械の健全性ステージ（HS）を適切に決定することが不可欠である。なぜなら，健全な状態の機械であれば，run-to-failureトレーニングデータセットに顕著な違いはないからである。しかし，従来の手法では，不健全なステージの開始時刻であるFPT（First Predicting Time）を決定せずにRULを予測していた。

本論文では，RUL予測のための一般化されたマルチスケール特徴抽出法を提案しています。Generative Adversarial Network(GAN)を用いて，異なるベアリングからの複数の学習データの分布を学習し，領域不変の一般化された予後特徴を抽出します。

FPTとRULの予測のために提案された特徴抽出法は2つのステップで構成されています。

第1ステップでは、マルチスケール・アドバーサリアル・ニューラル・ネットワークを学習して、振動入力信号を一般化された予後特徴に再構成します。ここでは，1次元のU-Netアーキテクチャの3つの異なるレベルが，GANベースの提案された特徴抽出法の損失関数を最小化するように学習されています。

第2ステップでは，一般化された特徴を入れ子型スキャッタープロット（NSP）画像に変換し，FPTの決定とRULの予測を行います。NSPは，多変数相関解析のための画像化手法です。NSPはヒューリスティックな手法ですが，生の振動信号から変換されたNSP画像は，ドメインナレッジに基づく特徴工学の労力を軽減します。また，NSP画像は，畳み込みニューラルネットワーク（CNN）と組み合わせることで，回転機械の故障診断における特徴抽出にも有効です。CNNベースのバイナリ回帰モデルがFPTを決定し、CNN-LSTM（long short term memory）モデルがRULを予測します。本研究の主な貢献は以下のようにまとめられます。

- HSの分割とRULの予測のために設計された新しいマルチスケール特徴抽出法である。1次元の特徴抽出を主信号分離タスクとして定式化し、RUL予測のための予後特徴を再構成するためにU-Netの使用を紹介する。また，不変表現を学習してRULを予測するために，GANスキームに基づいた新しい領域不変一般化解法を導入する。

- マルチスケールの予後特徴をNSP画像に変換し、一般化されたマルチスケール特徴を組み合わせることで、ドメイン知識や手動設定を必要とせず、計算コストを削減する。

- また，CNNベースの二値回帰モデルを用いてHSを閾値なしで判定する方法と，CNN-LSTMモデルを用いてRULを予測する方法を提案した。これらの方法は，他の既存の方法に比べて誤差が少なく，高い予後判定精度でRULを予測することができる。

- 提案手法を検証するために，FEMTO（Fanche-Comte Electronics Mechanics Thermal Science and Optics-Sciences and Technologies Institute）データセットと，Xi'an Jiaotong University and the Changxing Sumyoung Technology Company（XJTU-SY）データセットという2つの回転機械データセットを用いて実験を行った。複数のデータセットで実験を行うことで，異なるパターンの軸受摩耗に対する提案手法の有効性を検証することができます。

手法

一般化マルチスケール特徴抽出

HSの分割とRULの予測のため，GANスキームとUNetアーキテクチャに基づく一般化されたマルチスケール特徴抽出法を用います。Figure 1は、提案された画像抽出モデルの学習手順を簡略化した全体的な枠組みを示しています。

GAN構造では、論文著者らの以前の研究から分類強化GAN (CEGAN)を用いています。CEGANは、識別器、生成器、分類器の3つの独立したネットワークで構成されています。CEGANの分類器は、実データと生成データの両方で学習されており、従来のGAN手法とは異なり、不均衡なデータにおいて、生成された少数派データが多数派データに過剰適合することを防ぐことができます。つまり、実データのみで学習した分類器は多数派のデータに偏ってしまうのに対し、少数派クラスの生成データは多数派のデータに偏ることを防ぎ、分類器の性能を向上させることができるのです。従来のGAN手法では、補助分類器を用いており、分類器はネットワーク構造や重みパラメータを識別器と共有しているため、補助分類器の性能は高品質な画像の生成にはつながりません。CEGANの構造を応用して、提案するGAN方式では3種類の独立ネットワークを定義します。1）マルチスケール特徴抽出ネットワーク、2）生成器が生成した特徴を実際の入力データから分離し、異なるドメインのデータを区別する識別器、3）CNNベースのHS分割とLSTMベースのRUL 予測器を分類器ネットワークとして定義します。

・ジェネレータ（生成器）

生成器は，Figure 1に示すように，3つのマルチスケール・ジェネレータで構成されています。提案されている生成器は，元の2次元の畳み込みを1次元の演算に置き換えることで，1次元(1D)の時系列特徴を再構成するために，U-Netの基本概念を採用しています。U-Netは、画像のセグメンテーションのために考案されたもので、セグメンテーションの性能を向上させるために、異なるレベルの特徴マップを連結し、低レベルの詳細情報と高レベルの意味情報を組み合わせています。低レベルの詳細情報と高レベルの意味情報を組み合わせ、様々な画像セグメンテーション問題で有望な性能を達成しています。CNNをベースにしたU-Netアーキテクチャは、エンコーダ、デコーダ、およびエンコーダとデコーダの間のスキップ接続で構成されています。エンコーダは、入力データの抽象的な表現を抽出する複数レベルの畳み込み演算と、入力の複雑さを軽減するダウンサンプリングブロックで構成されています。畳み込み演算の後に、マックスプーリング・ダウンサンプリングを行うことで、入力画像を複数の異なるレベルの特徴表現にエンコードします。デコーダブロックもまた、複数のレベルの畳み込み演算、アップサンプリングブロック、および連結ブロックで構成されています。デコーダブロックは、エンコーダで学習した識別特徴をより高解像度の画像空間に意味的に投影し、高密度の分類を行います。一般的なU-Netの画像分割タスクへの利用とは異なり、U-Netの構造は、深い特徴と浅い特徴を同時に考慮することを可能にし、特徴抽出の効果を向上させることを発見しました。そのため、設計条件を満たすように特徴を再構築することができるのです。一般的なGANではガウスノイズが生成器に入力されますが、ここでは生成器の複数の層に適用されるドロップアウトの形でのみノイズを提供しています。生成器のアーキテクチャをFigure 2に示します。生成器は、入力データを処理するエンコーダーとデコーダーで構成されています。

U-Netでは、深い特徴と浅い特徴を同時に考慮することができるとはいえ、深いレベルの畳み込み演算を行うUNetでは、通常、より局所的な特徴に焦点が当てられ、高い特徴レベルでは入力の詳細情報が失われる可能性があります。そのため，異なる特徴レベルを統合することで，特徴抽出の性能を向上させることができます。そのため、3つのマルチスケール・ジェネレータは，エンコーダとデコーダのブロックの数が異なります。

・ディスクリミネータ（識別器）

提案されたGANは、複数の情報源からのドメイン適応を目的として開発されたものです。一般的にGANでは，生成データと実データを区別するために識別器を学習します。しかし，ここでの識別器は，データのドメインを区別するドメイン識別器の機能も持っています。これは，提案している一般化マルチスケール特徴抽出のフレームワークが，複数のドメインから回転軸受の摩耗の特徴を抽出することを目的としているからです。本論文では，データ領域とは，どのような軸受が，どのような条件で収集されたかを意味します。敵対的な学習を行うことで，生成器はドメインに偏らない情報を含む高レベルの特徴を抽出することができ，識別器はソースドメインだけでなく，本物か偽物かを分類することが困難になります。そのため、識別器の畳み込み層では、入力の特徴（生成器からの本物と偽物のデータを再構成した特徴）をLeaky ReLUで抽出し、分離した2つの線形層で、それぞれ真の度数とドメインの分類を出力します（Figure 3参照）。

・クラシファイヤ（分類器）

前述のように、正確なRUL予測のためには，機械のHSを決定する必要があるが，RUL予測のために直接回帰モデルを学習するのではなく，健康な状態にある機械では，ラン・トゥ・フェイルのベアリング摩耗に顕著な違いはないからです。HS分割とRUL予測の性能を向上させるために、提案するGAN構造では、分類器ネットワークを独立ネットワークにする構造を採用しています。Figure 1において、第１段階では、HS分割のための一般化されたマルチスケール特徴抽出GHSと、抽出された特徴からCNNと変換されたNSP画像を用いたHS分割モデルCRULを行います。第2段階では，RUL予測用の一般化マルチスケール特徴抽出モデルGRULを学習し，抽出された特徴から変換されたNSP画像を用いてCNN-LSTMモデルCRULがRULを予測します。

・損失関数と学習手順

本研究では，各軸受に水平および垂直に配置された2つの高周波振動センサによって振動信号が収集されていると仮定し，提案するDNNの学習には，異なる軸受からのライフサイクル全体における多数のN_train個のRun-to-fail振動データを使用することができます。$ X_j = {x^i_j}^{n_j}_{i=1}∈R^{N_{samples}},j = 1,2,...,N_{train} $がj番目のベアリングからのn_j個の連続したトレーニングサンプルを示すとします。各軸受データには，水平方向と垂直方向の振動センサからの2つのサンプルが存在します。

目的は，HS分割とRUL予測の性能を向上させるために，一般化された予知特徴を抽出することです。HS分割では，異なる軸受劣化条件における機械のHSの特徴を区別するために，教師付き学習のための対象データのラベリングが必要です。学習データセットは、取得時期に基づいて2つのヘルス段階に分けられます。振動データセット全体の中で正常機能に相当する初期部分を健全とラベル付けし、サンプル期間の最後の部分、つまりベアリングが損傷している部分を不健全とラベル付けします。これは、回転機械の劣化データは故障するまで得られるという前提に立っています。この方法は、ラベリングの労力を軽減するだけでなく、HSの正解が得られない場合（オープンデータセットのほとんどがHSに関する情報を持っていない）、HS分割の予測を向上させることができます。前提として，健康段階のラベルが与えられていない場合，信号が健康と不健康に明確に区別できるrun-to-failureデータセットのごく一部をラベリングしています。

次に，RULラベルを以下のように表現します。

ここで、$ yRUL^i_j $は、$ x^i_j $のRULラベルを表します。生成器ネットワークは2つのサブ生成器GHSとGRULに分解されます。この2つのサブジェネレータは，同じ構造を持つ識別器DHSとDRULに対応しています。学習手順の安定性と生成されたデータの品質のために，WGANGPを目的関数に適用して学習プロセスを導きます。目的関数は以下のように定義されます。

ここで，xは逐次学習サンプル，yはHS分割の場合はHSラベル，RUL予測の場合はRULラベル，dはドメインの関連ラベル，λ_Dはドメインの一般化の効果を制御するハイパーパラメータ，λ_Gは異なる損失項の相対的な重要性を制御し，L_CEは標準クロスエントロピー損失関数，θ_D，θ_G，θ_Cはそれぞれ識別器，生成器，分類器のパラメータです。識別器には，実データと生成データの両方が入力され，データの実態と領域分類は，それぞれ識別器D_RとD_Dの出力となります。識別器Dは，異なるドメインのデータと，実データと生成データを同時に識別するために，L_Dが最小になるように学習されているのに対し，生成器GはL_Gが最小になるように学習されています。さらに，CNNベースのHS分割器C_HSやLSTMベースのRUL予測器C_RULである分類器Cは，HSの分類やRULの予測のために学習されます。つまり，生成器は一般化された特徴量を再構成して識別器を誤魔化し，HS分割やRUL予測の性能を向上させます。また、実データに近い特徴量を再構成することで、特徴量の値を一定の範囲で生成することができ、時系列の特性を維持することができます。

最後に，HS分割とRUL予測のための分類器の損失を以下のように定義します。

ここで，L_BCEは標準的な二値クロスエントロピー損失，L_MAEは平均絶対誤差（MAE），L_RMSEは二乗平均平方根誤差（RMSE），L_MAPEは平均絶対パーセンテージ誤差（MAPE）をそれぞれ表しています。

再構成された3つの異なる特徴は，以下の2つのステップによってNSP画像の3つのチャンネルに変換されます。最初のステップでは，再構成された2チャンネルの特徴を，入れ子状のクラスタに圧縮します．各チャンネルの特徴は，x軸とy軸にマッピングされ，3つのマルチスケールジェネレータから再構成された3つの異なる特徴が，それぞれ赤，緑，青に着色されます。再構成された特徴から各クラスタの強度を表現するために，マッピングされた値のカウントをピクセル強度に変換しました。第 2 段階では，Figure 1 に示すように，3 つの散布図を集約して 1 つの RGB 画像を作成します。提案されたマルチスケール特徴抽出法の学習の詳細は，Algorithm 1（原論文参照）にまとめられています。

NSPによる健康段階分割と残存耐用寿命予測

連続した生の振動時系列データをマルチスケールの特徴に再構成し、その特徴をNSP画像に変換することで、信号処理問題を画像分類問題に変更し、HS分割モデルにCNN-HS（CNN-HS）、RUL予測モデルにCNN-LSTM（CNN-LSTM-RUL）を使用して画像を分類することができます。提案したCNN-HSとCNN-LSTM-RULの構造をFigure 4に示します。訓練されたCNN-HSとCNN-LSTMは、訓練には使われていませんが、他の訓練データセットと同じ条件で動作する外部テストデータセットのNSPを分類することができます。HS分割では、Run-to-fail全体のバイナリ回帰結果がCNN-HSによって計算され、閾値を指定する必要はありません。訓練されたCNN-HSは、訓練データセットの健全なデータと不健全なデータのNSPの特徴の違いを学習するので、すべてのデータの劣化パターンを認識することができます。CNN-HSを使ってFPTを決定し、マルチスケールの特徴を抽出し、その特徴をNSP画像に変換した後、CNN-LSTMはFPTから終了時刻までのすべてのデータの劣化パターンを認識することができます。CNN-LSTM内のCNNは、変換されたNSP画像から特徴抽出を行い、LSTMとRUL予測部がRULの割合を算出します。

実験結果

Run-to-failure振動データセットで提案手法（GMFEと表記）を評価するために，2種類のポピュラーなデータセットであるFEMTO とXJTU-SY datasetを使用しました。FEMTOデータセットは、PRONOSTIAテストリグで収集されたもので、IEEE PHM 2012 Prognostic Challenge（PHM 2012）以降、公開されています。試験装置には，Figure 5（a）に示すように，非同期モータ，シャフト，スピードコントローラ，2つのプーリのアセンブリ，および試験済みの回転軸受が搭載されています。データセットは，1つの軸受が試験された17個のRun-to-failureデータ（水平方向と垂直方向の2列の振動データ）で構成されています。各データセットは故障するまでの時間が異なるため，時間的に変化する運転条件や環境に適応した故障検出方法が必要となります。振動データの振幅が20gを超えた時点で、Run-to-fail実験は中止され、軸受は欠陥があるとみなされます。

比較評価には、3つの評価指標、MAE、RMSE、MAPEを採用しています。

結果

Figure 6は，FEMTO データセットと XJTU-SY データセットの2つの試験用回転軸受に変換された NSP画像の例を示しています。変換された NSP画像は，生の振動データから有用な特徴を抽出することで，機械の健康状態を十分に表すことができます。この方法を評価するために、1つの回転軸受データセットをテストに使用し、同じ動作条件のもう1つの軸受をDNNのトレーニングに使用しました。

実験結果は、モデルのランダム性の影響を受けないように5回の試行で平均化されています。提案手法の優位性を明らかにするために、提案手法を、マルチスケール・ニューラル・ネットワーク（MCNN）、ディープ・アドバーサリアル・ニューラル・ネットワーク（DANN）、および提案された教師付きHS分割法付きCNN-LSTM法と比較しています。提案手法は、MAEやRMSEについては、他の手法に比べて予測誤差が非常に少ないことがわかりますが、MAPEではDANNよりもわずかに高い値となっています。これが、λ_MAPE=20が、λ_MAE=100やλ_RMSE=50よりも低く評価される理由です。

また、FPTとNSPの効果を評価するために切り分け調査を行ったが、「FPTなし」を採用し、HS分割とFPTの決定が有効であることを示すために、機械稼働開始時の段階的導入を検討しています。 1D-GAN 法は、NSP画像と提案されたCNN-LSTM-RULに変換することで、複数の特徴を融合することなく実装されており、変換されたNSP画像とCNN-LSTM-RULの頭頂部の大きさを示しています。提案された手法は、「NoFPT」や「1D-GAN」と比較して優れた結果を示しており、提案されたHS分割手法は、初期段階での機械的な劣化を捕捉するのに有効であり、変換されたNSP画像を用いたCNN-LSTM-RULは、さまざまなデータセットに対する一般化可能性を高めていることがわかります。

Figure 7は、2つのデータセットにおける4つのテスト回転軸受のRUL予測結果を示しています。回転軸受のFPTが検出された時点で劣化評価が開始されますが、劣化パターンは提案した方法で効果的に捕捉され、実際のRULと予測されたRULとの誤差は非常に小さいことがわかります。

まとめ

本研究では，マルチスケールGANを用いて，一般化されたマルチスケール特徴抽出とRUL予測法を提案しています。一般化された予兆特徴を抽出するために，生成器にマルチスケール1D U-Netアーキテクチャを設計し，生成器と，現実と領域の識別器を含む識別器の間に逆学習手順を設計しました。敵対的学習手順では，異なる回転軸受からの複数の学習データの分布を学習し，領域不変の一般化予知特徴を抽出します。

提案手法は、一般化された特徴を抽出してRULを予測するために、ドメイン知識や手動設定を必要としない特長があります。閾値のないHSの決定のためのCNNベースの二値回帰モデルと、RUL予測のためのCNN-LSTMモデルが提案されており、他の既存の手法よりも誤差が少なく、高い予知精度でRULを予測することができます。実験結果によると，CNNとCNN-LSTMを軸受摩耗の再構成特徴に基づいてNSPと組み合わせる提案手法は，劣化パターンを効果的に捉えることができ，他の手法と比較して優れたRUL予測結果を得ることができました。

提案手法の性能をさらに向上させるためには、より多くの学習データが必要です。しかし，軸受の全ライフサイクルにおける注釈付きデータを収集することは，実際の産業分野では困難であり，軸受の健康状態を定義することはできません。従って、教師なしのベアリング劣化データについては、さらに関連する研究を行う必要があるとしています。今後は、提案した手法を製造現場における他の部品の故障診断や予知に拡張し、注目メカニズムと教師なし伝達学習を用いた故障予測モデルをさらに発展させる予定としています。

この記事に関するカテゴリー