製造品質予測モデルを強化する説明可能性技術

Explainable.AI 2024年08月29日

3つの要点

✔️ 説明可能性技術を用いることで、製造品質予測モデルの精度を高め、製造コストを削減
✔️ 重要な特徴量を選択、不要な特徴量を削除し、効率性と理解度を向上
✔️ データ量が限られている状況下での、説明可能性技術を活用した高精度な予測手法を提案

Enhancing Manufacturing Quality Prediction Models through the Integration of Explainability Methods
written by Dennis Gross, Helge Spieker, Arnaud Gotlieb, Ricardo Knoblauch
[Submitted on 27 March 2024]
Comments: Accepted by arXiv
Subjects: Artificial Intelligence (cs.AI); Computer Vision and Pattern Recognition (cs.CV); Computers and Society (cs.CY); Machine Learning (cs.LG)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

概要

本研究は、機械学習（ML）モデルの性能を向上させるために説明可能性技術を利用する方法を提案しています。この方法は、フライス加工の品質予測において使用されており、最初にMLモデルを訓練し、その後、説明可能性手法を用いて不要な特徴量を特定し、それらを削除することで精度を向上させるプロセスです。この手法により、製造コストの削減とMLモデルの理解度の向上が期待されます。本研究は、説明可能性技術が製造分野における予測モデルの最適化と説明に有用であることを示しています。

はじめに

フライス加工は、材料を除去して所望の形状や表面仕上げを作り出す加工方法です。この加工において、フライスカッターと呼ばれる切削工具が高速で回転し、ワークピースを移動させながら材料を削り取ります。ワークピースは多軸で動かすことができるテーブルに固定されており、様々な方向や角度での加工が可能です（Fertig et al., 2022）。フライス加工のエネルギー消費は、設定や材料によって大きく異なることがありますが、一般的にエネルギー集約型のプロセスとされています。品質の問題を予測し、未然に防ぐことができれば、エネルギー消費を抑え、欠陥部品の製造による無駄を減らすことができます（Pawar et al., 2021）。

機械学習（ML）モデルは、プログラムによって直接指示されることなく、データ内のパターンや構造を特定し、予測を行うことができます。これらのモデルは、フライス加工の最終品質を予測するための有用なツールであり、製造プロセスの効率性と信頼性を向上させることができます（Mundada and Narala, 2018）。しかし、フライス加工の実験データは非常に高価であるため、利用可能なデータが少ないことが多く、ワークピースの品質を予測するためのMLモデルの学習が困難です（Postel et al., 2020）。

さらに、複雑なMLモデル、特にディープニューラルネットワークモデルを使用する場合、その内部の動作が不透明であり、「ブラックボックス」性が問題となります。この問題は、これらのモデルの予測が理解しにくくなるため、フライス加工の品質予測において実務者や利害関係者が完全に理解できないことから生じます（Kwon et al., 2023）。

本研究では、説明可能性手法を用いてMLモデルの予測メカニズムを解明し、最適化を図ることで、MLモデルの性能を向上させる方法を提案しています。説明可能性手法を使用することで、MLモデルの予測における重要な特徴量を特定し、不要な特徴量を排除することで、最適化を効果的に進めることができます（Bento et al., 2021; Sun et al., 2022）。

方法論

本研究では、以下の手順で説明可能性手法を用いて機械学習（ML）モデルの性能を向上させる方法を提案しています。

1. MLモデルの訓練

初めに、与えられたデータセットを用いてMLモデルを訓練します。本研究では、決定木回帰、勾配ブースティング回帰、ランダムフォレスト回帰の3つのモデルを使用しています。これらのモデルは、ニューラルネットワークよりもデータ量が少なくて済み、解釈が容易です。

2. 説明可能性手法の適用

訓練したMLモデルとデータセットに説明可能性手法を適用し、予測精度に対する重要な特徴量を特定します。このステップでは、特徴量の重要度をランキングし、重要な特徴量を増やしながら新しいモデルを訓練します。

3. 特徴量の選択

特徴量の重要度に基づいて、最も重要な特徴量のみを用いて新しいモデルを訓練します。このプロセスにより、MLモデルの性能を向上させます。

機械学習モデル

決定木回帰モデル

決定木回帰モデルは、入力空間を異なる領域に分割し、各領域内の訓練サンプルに対して単純なモデル（通常は定数）を適合させます。新しい入力 $x$ に対する予測 $𝑦^$ は、次のように表されます。

ここで、 $c m$ は領域 $R$ に適合した定数、 $M$ は領域の数、 $I \cdot$ はインジケータ関数です。

勾配ブースティング回帰モデル

勾配ブースティング回帰モデルは、損失関数を最適化するために複数の弱いモデルを組み合わせます。初期の近似F₀(x)から始まり、弱いモデルh_mx(x)を追加して、次のように更新されます。

ここで、 $α$ は学習率、h_m(x)は前のモデルの誤差を修正するための弱い学習者です。

ランダムフォレスト回帰モデル

ランダムフォレスト回帰モデルは、複数の決定木を訓練し、それらの予測を平均することで最終的な予測を行います。新しい入力 $x$ に対する最終的な予測は、次のように表されます。

ここで、 $T$ は木の総数、y_t(x) は t 番目の木の予測です。

$𝑦^(𝑥)=1𝑇∑𝑡=1𝑇𝑦𝑡(𝑥)$

説明可能性手法

特徴量の順列重要度

特徴量の順列重要度は、モデルの重要な特徴量を評価するための説明可能性手法です。特定の特徴量をランダムに入れ替え、モデルの性能の変化を監視することで、各特徴量の重要度を測定します。

Shapley値

Shapley値は、協力ゲーム理論に由来し、各参加者のマージナルな貢献度に基づいて公正な価値を割り当てます。機械学習モデルの文脈では、各特徴量の予測に対する貢献度を定量化します。

ケーススタディ

本研究では、ENSAMで生成されたデータセットを使用して、提案手法を適用しました。以下に、その詳細を説明します。

目的

本事例研究の目的は、各品質指標に対する予測モデルを開発することです。これには、モデルの訓練だけでなく、予測結果の理由を明確にすること、さらに不要な特徴量を特定して除去することが含まれます。このステップは、冗長なセンサーを削減することで、設置や保守コストを最小化し、リソースの最適化とコスト削減を目指しています。

図1：工作物を加工するフライス盤

データ前処理

本研究では、変動するタイムシリーズ長を持つデータを扱っているため、各タイムシリーズのボックスプロット値を計算しました。また、データセット内のメタデータには、様々な実験パラメータが含まれています。

機械学習モデルの訓練

本研究では、各品質指標の予測のために、決定木回帰、勾配ブースティング回帰、およびランダムフォレストモデルを訓練しました。図2にモデルの入力と出力の全体像を示します。各モデルの訓練には5分割交差検証を採用しました。この方法では、データを5つの等しい部分に分割し、各イテレーションで4つの部分（80%）を訓練に、残りの1つ（20%）をテストに使用します。このプロセスを5回繰り返し、5つの部分のそれぞれが1回ずつテストセットとして機能します。モデルの性能は5回のイテレーションで平均化され、より堅牢な評価が得られます。

図2：ML予測モデルは、ボックスプロット（時間領域と周波数領域）と機械構成パラメータを受け取り、品質尺度を出力します。

分析

提案手法を分析します。まず、MLモデルの性能を評価し、次にMLモデルの予測メカニズムを分析し、最後に特徴量を削除することでMLモデルの性能に与える影響を評価します。

モデルの予測品質の評価

本研究の目的は、勾配ブースティング回帰、決定木、ランダムフォレストの3つのMLモデルの予測精度を評価することです。予測の品質を評価するために使用される主要な指標は、平均絶対誤差率（MAPE）です。予測のMAPEが5%未満であれば、高品質と見なされます。

セットアップ: 前処理された100サンプルのデータセットを使用。
実行: 前処理されたデータセットを用いて、勾配ブースティング回帰、決定木、ランダムフォレストの3つの異なる機械学習モデルを訓練し、k-分割交差検証を用いてMAPEを測定。
発見: これらのML技術を用いて、品質特徴量の完全なセットでRdqの予測を行い、誤差率を5%未満に抑えることができました。具体的には、勾配ブースティング回帰モデルで4.58%、ランダムフォレストモデルで4.88%の誤差率を達成しました。

MLモデルの予測メカニズムの理解

本研究では、品質指標を予測する際に、各属性の重要性を評価しました。

セットアップ: 訓練済みモデルを対象に、最も高性能を示した勾配ブースティング回帰モデルに焦点を当てました。
実行: 特徴量の順列重要度とShapley値を適用しました。
発見: 異なる説明方法が異なる理由を示すことを確認しました。例えば、順列特徴重要度はShapley値と比較してfa_ts_maxをより重要な特徴量としてハイライトしました（図3参照）。

図3：FPI（feature permutation importance permutation）およびSHAP（Shapley value）法によるRdqmaxmean予測値の特徴重要度ランクを示す可視化。

パフォーマンスの向上

本実験では、説明可能性手法をMLモデル開発プロセスに統合することで、モデルの性能を向上させる可能性を探りました。

セットアップ: MLモデルの変数を特徴重要度に基づいて降順に分類し、上位の特徴量の割合（p）を変動させながら、各トライアルで新しいモデルを訓練しました。
実行: 重要な特徴量のみを用いたモデルの性能向上を試みました。
発見: 最も重要な特徴量のみを訓練データセットに統合することで、MLモデルの性能を向上させました。例えば、順列重要度で最も重要な上位20%の特徴量のみを選択することで、MAPEを約4.58から4.4に向上させました。

図4：Rdq予測における、異なる手法に基づく最も重要な特徴量の異なる割合の使用。FSは特徴選択。

議論

本事例研究は、製造品質予測モデルに対する説明可能な機械学習（ML）手法の利点を示しています。説明可能性スコア（特徴量重要度のような）は、モデルの予測力に対する各特徴量の関連性を解釈するために利用されます。この解釈は、人間の専門家が訓練されたモデルを分析し、高重要度の特徴量が予測タスクに対して意味があるかどうかを検証するために利用できます。

MLモデルは、入力特徴量と予測ターゲット間の新しい関係性を明らかにすることができますが、品質予測設定においては、特定の特徴量への過度の依存は、データの不足による誤った相関を学習する指標となることがあります。説明可能性手法は、モデルの検証および人間の検査のためのツールとして機能することができます。

さらに、低ランクの特徴量を削除することでモデルの改善が可能であることが示されています。具体的には、図4のように、最も重要な特徴量のみを残すことでモデルの精度が向上しました。この方法により、予測の精度を向上させるだけでなく、予測に必要なセンサーの数を減らし、予測にかかる計算コストを削減することができます。製造プロセス中にリアルタイムで品質予測を行い、潜在的な欠陥や計画からの逸脱を検出する場合、予測に必要な時間を最小限に抑え、予測の頻度を増やすことが重要です。

また、プロトタイプの製造機械を設計する際には、機械の最終的なセンサーセットを決定するために、初期段階での予測モデルの評価が重要です。プロトタイプ機械には多くのセンサーが装備されていますが、予測モデルの評価後に関連するセンサーのみが選択されます。

さらに、製造業における品質予測モデルの開発には、シンプルで解釈可能なモデル（Breiman, 2001; Rudin et al., 2022）の利用が有益であると考えられます。しかし、シンプルさと精度の間にはトレードオフ（Occamのジレンマ）が存在し、モデルをシンプルにするほど精度が低下します。事例研究においても、シンプルな決定木とより複雑な勾配ブースティング木やランダムフォレストのエラー差からこのトレードオフが見られました。説明可能性手法を用いて特徴量を削減することで、モデルの複雑さを再び減少させ、最終的なモデルをより解釈可能にすることができました。

結論

本研究は、機械学習（ML）と説明可能性技術を組み合わせることで、製造業における表面品質予測モデルの性能を向上させる可能性を示しています。データの利用可能性に制約があるにもかかわらず、説明可能性手法に基づいた特徴選択を行うことで、データ量の少ないMLモデルの有効性を高めることができました。

今後の研究では、フライス加工以外の製造プロセスにも説明可能性手法を拡張し、より包括的な予測システムを構築することを目指しています。また、これらのMLモデルを物理機械のデジタルツインとして活用し、パラメータ最適化手法を適用することで、新たな展開を図ります。この統合により、モデルの精度を向上させるだけでなく、機械操作のリアルタイムな微調整が可能となり、効率の向上とコストの削減が期待されます。

この記事に関するカテゴリー

友安昌幸 (Masayuki Tomoyasu): JDLA G検定2020#2, E資格2021#1 データサイエンティスト協会 DS検定日本イノベーション融合学会　DX検定エキスパート合同会社アミコ・コンサルティング CEO

最新AI論文をキャッチアップ

製造品質予測モデルを強化する説明可能性技術

概要

はじめに

関連研究