物理モデルから転移学習する製造プロセスのための高速で安価な機械学習
3つの要点
✔️ 製造プロセスにおいては、新しいプロセスに対して定性的で正確な物理ベースのモデルを開発するための本質的で多大なコストがかかるという重大な課題があります
✔️ この問題に対処するために、物理ベースのプロセスモデルから得られた大量の計算コストの低いデータでMLモデルを学習し、その後、コストの高い少量の実験データで微調整を行う、転移学習に基づくアプローチを提案します
✔️ 提案手法は、モデル開発コストを数年、実験コストを56～76％、計算コストを桁違い、予測誤差を16～24％削減します
Accelerated and Inexpensive Machine Learning for Manufacturing Processes with Incomplete Mechanistic Knowledge
written by Jeremy Cleeman, Kian Agrawala, Rajiv Malhotra
[Submitted on 29 Apr 2023]
Comments: Manufacturing Letters, 2023
Subjects: Machine Learning (cs.LG); Materials Science (cond-mat.mtrl-sci)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
概要
機械学習(ML)は、製造プロセスにおけるパラメトリック効果をモデリングするために、ますます関心を集めています。なぜなら、最先端のアプローチは、学習データを生成するための実験コストや計算コストを削減することに重点を置いていますが、新しいプロセスに対して定性的で正確な物理ベースのモデルを開発するための本質的で多大なコストを無視しているからです。
この論文では、この問題に対処するために、物理ベースのプロセスモデル（ソース）から得られた大量の計算コストの低いデータでMLモデルを学習し、その後、コストの高い少量の実験データ（ターゲット）で微調整を行う、転移学習に基づくアプローチを提案します。この新規性は、ソースモデルに要求される定性的精度の限界を押し広げることにあります。
私たちのアプローチは、Fused Filament Fabricationにおける印刷線幅のモデル化について評価されています。ソースの極端な機能的・量的不正確さにもかかわらず、我々のアプローチはモデル開発コストを数年、実験コストを56～76％、計算コストを桁違い、予測誤差を16～24％削減します。
はじめに
この論文は、プロセス物理学の機械的な知識が限られているにもかかわらず、モデル開発コスト（CD）を削減するマルチフィデリティ学習アプローチを提案しています。この方法は、フューズド・フィラメント・ファブリケーション（FFF）における印刷されたラインの幅Wを、フィラメント供給速度Fと押出機速度Sの関数としてモデル化するために示されています。この問題には、非ニュートン流体、摩擦、冷却、濡れ、圧縮性などの複雑な物理現象が関与しています。
機械学習（ML）モデルは、製造プロセスにおけるパラメトリック効果をモデル化するために人気がありますが、実験から必要なトレーニングデータを生成することは時間とリソースの消費（実験コストCE）を伴います。物理ベースのプロセスモデルからトレーニングデータを生成する場合には、シミュレーションを実行するために必要な計算コストCC（CPU時間）と、直感的な試行錯誤による構成法則と数値方法の作成に必要な時間と人的リソース（モデル開発コストCD）が発生します。新しいプロセスにおける高いCDの根本的な原因は、基礎となる物理学の質的な知識がしばしば欠如しているためです。
マルチフィデリティ学習では、大量の安価で不正確なデータ（ソース）を使用してMLモデルをトレーニングし、少量の高価だが正確なデータ（ターゲット）を使用して微調整を行います。計算プロセスモデルをソースとし、実験データをターゲットとすることで、CEを実験データのみでのトレーニングと比較して減少させ、CCを計算データのみでのトレーニングと比較して減少させ、基本的な真実を捉えることができます。しかし、これらの作業は、ソースがターゲットと質的に一致する必要があるという仮定に基づいています。したがって、質的に正確な物理ベースのソースが必要であるため、CDは依然として高いままです。分析プロセスモデルをソースとして使用することでCCをさらに減少させることができますが、CDを減少させることはできません。
新しいプロセスに対して実験ソースを使用することは、その本質的な新規性のために不可能です。この論文は、この問題に対処し、プロセス物理学の機械的な知識が限られていてもCDを削減する新しいマルチフィデリティ学習アプローチを提案しています。
手法
このアプローチでは、物理ベースのプロセスモデルをソースとし、実験をターゲットとする転移ベースのマルチフィデリティ学習を使用しています。この方法により、最終的な機械学習（ML）モデルは実験的な基本事実を反映し、実験コスト（CE）を削減します。このプロセスモデルは、(a) 自然法則を尊重するために一つ以上の保存法則を含むこと、(b) 実験的な校正や検証なしに構成法則の形状を推測し、モデル開発コスト（CD）を削減すること、(c) 計算コスト（CC）を最小限に抑えるために時空間の離散化を避けるか最小限にすることが必要です。
本研究では、Epsilonサポートベクタ回帰（SVR）をMLモデルとして使用し、ガウス型基底関数とともにTrAdaBoostR2インスタンスベースの転移学習で微調整を行いました。ε-SVRのハイパーパラメータは総当たり法に基づいており、TrAdaBoostR2のブースティング反復回数は30でした。ソースモデルは質量保存則、つまりW = FA/Sh（hはノズルからプラテンまでの距離、Aはフィラメントの断面積）を使用しました。このモデルは押出物理学の複雑さをほぼ完全に無視し、線（または層）の高さとhが等しいという誤ったが単純化する仮定をします。使用した624のソースサンプルを生成するのに約10-6 CPU時間がかかりました。
実験は自作のFFFマシンでPLAラインを印刷し、16の等間隔S（350～725 mm/分）とF（153～729 mm/分）にわたり、h = 0.7、0.85、1.2 mmで行われました。Wはノギスで測定し、3回の測定で平均化されました。不安定な印刷レジームは除外されました。まず、実験ターゲットデータのみにSVRの直接学習が行われました。テストデータ（データセットの残り）の平均二乗誤差（RMSE）がこれ以上減少しないまで、段階的により多くのトレーニングポイントが使用されました。このトレーニングとテストはランダムサンプリングを使用して1000回行われ、直接学習の最小誤差RMSEdirectおよび対応するサンプル数ndirectの平均値が得られました。転移学習はndirectと同じサイズのソースデータで行われ、転移学習誤差RMSEtがRMSEdirect以下となるように、段階的に増加するターゲットデータ量が使用されて最小ターゲットデータセットntを反復的に特定しました。これにより、コスト削減を目指して予測精度を犠牲にしないことが保証されました。
転移学習後に得られた最終SVRのテストは、トレーニングに使用されなかった実験データの部分からランダムに取得されたデータで行われました。このテストデータセットはndirectと同じサイズであり、トレーニングとテストの比率が極端に偏ることを防ぎ、直接学習と転移学習を公正に比較するためです。このランダム化されたテストは30回実施され、平均RMSEtが得られました。
結果
図1は、ソースモデルと実験的なターゲットとの間の機能的な不一致を、3Dプロットと代表的な2Dプロットで示しています。フィラメント供給速度Fと押出機速度Sがライン幅Wに与える実際の影響は、特に低いノズル高さhで、ソースの線形仮定と比べて明らかに非線形です。
図2a-cは、実験データのみに対する直接学習のテストされたRMSEがトレーニングポイント数の関数としてどのように変化するかを示し、RMSEdirectとndirect（すべてのhで一定の150）を明らかにします。図2d-fは、このRMSEdirectを実験データの異なる量（つまり、FとSの組み合わせ）に対する転移学習からの誤差と比較しています。転移学習によりRMSEt ≤ RMSEdirectおよびnt < ndirectとなる複数のケースがあります。
質的には、図3は、ソースモデルに組み込まれた質的および量的に不正確な機械的知識にもかかわらず、転移学習されたSVRが実験データの非線形性を捉えることができることを示しています。これは、転移学習がソースモデルの単純化された仮定にもかかわらず、実験データの複雑な関係をより正確にモデル化する能力を持つことを示唆しています。
| 図 1: h = (a) 0.7 mm (b) 0.85 mm (c) 1.2 mm におけるソースとターゲットの比較。送り速度Fとステージ速度Sの単位はmm/min。 |
| 図2: h = (a) 0.7 mm (b) 0.85 mm (c) 1.2 mmの場合の学習点数の関数としての直接学習によるRMSE。h = (d) 0.7 mm (e) 0.85 mm (f) 1.2 mm の場合の、異なる実験量 F と S を使用した伝達学習から得られる誤差に対する RMSEdirect の比較。送り速度Fとステージ速度Sの単位はmm/min。 |
| 図3: h = (a-d) 0.7 mm (e-h) 0.85 mm (i-l) 1.2 mmの場合の伝達学習済みモデルとターゲットの比較。 |
提案されたアプローチは、実験データに対する直接学習と比較して、実験コスト（CEXP）を56-76%削減し、誤差を16-24%減少させます（表1）。すでに開発されている計算または分析的なプロセスモデルは、ソースとしてまたは直接学習のために使用することができます。これらのモデルは、実験データの質的および量的な基準に良い一致を示しています。しかし、これらのモデルがこのレベルに達するまでには、分析方程式の場合2000年から2019年まで、計算シミュレーションの場合2002年から2018年までの時間と努力がかかりました。これは、ソースモデルが文献で報告された2000年にSmart-MLを使用していた場合、少なくとも15人年のモデル開発コスト（CDEV）を節約できたことを示しています。
| 表1. 直接学習と転移学習の最小RMSEと対応する学習サンプル数の比較 |
全体として、提案されたアプローチは、質的に正確な人間が作成した物理ベースのプロセスモデルの必要性を軽減することで、新しいプロセスのCDEVを削減します。また、FFFに対して1つのトレーニングサンプルを生成するために高忠実度の計算モデルを使用する場合には、Smart-ML（つまり、10^-6 CPU時間）に比べて桁違いに多くのCPU時間が必要です。したがって、Smart-MLはCEXPだけでなく、計算コスト（CCOMP）とCDEVも削減します。
結論
製造プロセスにおけるパラメトリック効果のMLモデルに対する最先端のアプローチは、学習データ生成の実験コストと計算コストの削減に重点を置いています。この論文では、このパラダイムを押し進め、しばしば見落とされがちな、しかし重要な、プロセスモデル開発のコストを削減する可能性を検討します。
これは、反復的なモデル開発のコストを回避するために、構成則の関数形式に対する較正されていない推測の使用を探求することによって、転移学習におけるソースプロセスモデルとターゲット実験データ間の必要な類似性の限界をテストすることによって達成されます。このアプローチは、製造プロセスにおけるパラメトリック効果のMLモデルのための最先端のアプローチは、学習データ生成の実験コストと計算コストを削減することに重点を置いています。
この論文では、このパラダイムを押し進め、しばしば見過ごされがちですが、重要なプロセスモデル開発のコストも削減できる可能性を検討します。これは、反復的なモデル開発のコストを回避するために、構成則の関数形式に対する較正されていない推測の使用を探求することによって、転移学習におけるソースプロセスモデルとターゲット実験データ間の必要な類似性の限界をテストすることによって達成されます。このアプローチでは、モデル開発における仮定とは異なり、ソースとターゲットの間の有意な関数的不一致を克服することができます。
この記事に関するカテゴリー
