GMS: ChatGPTと拡散モデルを活用した製造革命

Manufacturing 2024年08月28日

3つの要点

✔️ 生成AIが製造プロセスを革新し、効率と柔軟性を大幅に向上させる新たなアプローチ
✔️ GMSの導入により、不確実性に対するシステムの回復力と応答性が飛躍的に強化される
✔️ ChatGPTとディフュージョンモデルを活用し、人間中心の意思決定を促進する革新的な製造システム

Generative manufacturing systems using diffusion models and ChatGPT
written by Xingyu Li, Fei Tao, Wei Ye, Aydin Nassehi, John W. Sutherland
[Submitted on 2 May 2024]
Comments: Accepted by arXiv
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Human-Computer Interaction (cs.HC); Systems and Control (eess.SY)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

概要

本研究では、Generative Manufacturing Systems（GMS）を紹介し、これにより自律的な製造資産の管理と調整が効果的に行われ、様々な生産目標や人間の好みに対する応答性と柔軟性が向上することを示しています。

従来の明示的なモデリングとは異なり、GMSは生成AI（ディフュージョンモデルやChatGPTを含む）を使用して、未来のビジョンから暗黙的に学習することで、モデル最適化から訓練とサンプリングによる意思決定へと移行しています。生成AIの統合により、GMSは人間との対話を通じた複雑な意思決定を可能にし、製造資産が複数の高品質なグローバル意思決定を生成し、人間のフィードバックに基づいて反復的に改善することができます。

実証結果は、GMSが不確実性に対するシステムの回復力と応答性を大幅に向上させ、意思決定時間を数秒からミリ秒に短縮することを示しています。本研究は、生成された解決策の創造性と多様性を強調し、人間中心の意思決定を円滑かつ継続的な人間と機械の相互作用を通じて促進することを明らかにしています。

はじめに

製造システムは、さまざまな形態や緊急性、影響を伴う持続的な不確実性に直面しています。まず、マスパーソナライゼーションの到来と規制や標準の変化が生産要件に複雑さを加え、システムが進化する要求や義務を巧みにナビゲートすることが求められています。

次に、自然災害、パンデミック、金融危機、地政学的な紛争などによる生産の中断が資源の不足や消費者行動の変化を引き起こします。大規模な中断後、20～30%の企業や事業が閉鎖を余儀なくされます。最後に、持続可能性、社会的、環境的な目標によって推進される新しい製造イニシアティブは、生産目標を再評価し、既存のシステムを再検討する必要があります。

将来の製造システムは、不確実性に迅速に適応し、新たなイニシアティブと制約のバランスを取る柔軟性が求められます。製造システムに初めて柔軟性を導入したのは1960年代のフレキシブル製造システムの誕生時でした。ハードウェアとソフトウェアの柔軟性を改善する努力がなされたにもかかわらず、資産と計画の水平の増加に伴う集中制御のNP困難性がシステムの応答性を妨げています。

ロボット、車両、移動型マニピュレーターなどの製造資産の自律性の向上は、この課題に対処する機会を提供し、各資産に意思決定権限を委譲することで応答性を高める可能性があります。アウディのようなメーカーは、固定ライン生産から自律資産を備えた分割ワークステーションへとシフトしており、特定の製造タスクに適した資産（Little Helper、OMRON MoMa、KMR IIWAなど）は、自動車および航空宇宙産業で効果を示しています。これらの資産は、戦略的なタスクの割り当てとルーティングを通じて、適応可能なレイアウトとスケジュールを実現し、労働者の利用率と生産量の最大30%の向上を見込んでいます。エージェントベースの製造、マトリックス生産システム、無政府製造などの新たな製造システムは、分散制御または分散制御を通じて資産の自律性を取り入れています。

しかし、オープンインターフェースとユニバーサルスタンダードによって複雑化し柔軟性が増す資産が増えるにつれて、これらの制御アプローチも課題に直面します。各資産はシステム全体とその制約について包括的な認識を欠くことが多く、個々の計画の調整が困難になり、最適な解決策の達成を妨げます。

さらに重要なのは、最適な解決策は多様な目的と利害関係者の好みを効果的にバランスさせることに依存しており、これらは完全かつ明示的にはモデリングされていない可能性があります。資産の自律性の利点を最大限に引き出すためには、効率的に多様な資産を管理し、様々な生産目標に対応し、不確実性に対応しながら、人間中心の意思決定を保証するための革命的なアプローチが必要です。

生成モデルは、独自の生成能力、確率的モデリング、インタラクティブな意思決定を通じて、これらの課題に対応するための変革的な機会を提供します。本研究では、現在の明示的なモデルから未来の暗黙的な知識への基本的な転換を示すGMSを提案します。夢見る工場のビジョンからインスピレーションを得て、私たちのアプローチは、多様な意思決定と不確実性の組み合わせを探索し、将来の経験から数多くの潜在的な未来を生成します。生成モデル（拡散モデルやChatGPTを含む）を活用することで、GMSは意思決定の根底にあるパターンや分布を巧みに捉え、最初の探索範囲を超えたシナリオでも創造的な意思決定を促進します。

Generative Manufacturing Systems (GMS)

著者らは、将来の製造システムにおいて、定置機械、自律資産、多様な人間の労働力の相乗的統合を提案しています。資産の自律性と移動性が増すことを考慮し、自律資産と人間がさまざまなワークステーション間を動的に移動し、自ら組織することで製造作業を改善し、物資の流れを合理化できるとしています。GMSは、人間の監督の下で、不確実性や生産目標に応じて構成とスケジュールを巧みに調整するよう設計されています。

図1：GMSの概略図

図1は、GMSの概略図を示しており、人間の問い合わせを受け取る資産（左）、未来の探索から訓練されたGMSモデルが新しい意思決定をサンプリングする過程（中央）、そして人間の問い合わせに応じて多様な構成とスケジュールのオプションを提供するGMS（右）が描かれています。 GMSは、ChatGPTやXLNet、Turning-NLPなどの大規模言語モデルを活用して人間の問い合わせを機械言語に変換します。

その後、ディフュージョンモデルやBigGAN、DALL-Eなどの画像生成モデルを採用し、人間の問い合わせに応じたシステム構成（各ステーションでの人間と資産の配置）を生成します。さらに、運用スケジュールとタスクの割り当てを詳細に決定し、ステーション間および人間とロボット間のタスクを分配し、材料とプロセスの制約を考慮します。既存の明示的なモデルに依存して最適な意思決定を見つけるアプローチ（モデル最適化）とは異なり、GMSは訓練とサンプリングアプローチを採用しています。

未来のシナリオを広範に探索することによって、GMSは優れた意思決定の確率的分布を暗黙的に学習し、これらの分布を人間の望みや生産目標に従って組み立て、意思決定のサンプリングを行います。このモデル最適化から訓練とサンプリングアプローチへの移行は、既存の製造システムの計算上の課題に対処するだけでなく、次のような利点をもたらします：

創造性：サンプリング時にノイズを取り入れることで、潜在的な意思決定の幅が広がります。また、生成モデルは学習した分布の組み合わせを通じて新たな意思決定を創出し、人間の新しい問い合わせや予期せぬシナリオに対応するための重要な要素となります。

回復力：訓練とサンプリングは、不確実性の中でシステムの応答性を高め、サンプリングの意思決定は最適化の収束に比べて効率的であり、多様なシナリオに対する幅広い解決策を提供します。

人間中心性：GMSの暗黙知は、人間の問い合わせ、知識、専門知識とシームレスに統合され、人間が生成モデルの中の微妙な洞察にアクセスできるようになります。この相乗効果により、人間と自律資産の間でのより一体的で効果的な協力が可能になり、人間はGMSの能力を活用して意思決定を強化し、所有感や仕事の満足感を得ることができます。

Generative Models

本セクションでは、GMSにおける動的資産管理のための2つの生成モデルについて説明します。1) ChatGPTを使用して人間の問い合わせからシステム要件を抽出し、2) ディフュージョンモデルを使用してその要件に応じた構成を生成します。

ChatGPT

OpenAIのChatGPT APIをPythonで使用し、gpt-3.5-turboモデルを用いて、人間の問い合わせから主要な要件を生成する名前付きエンティティ認識タスクを作成しました。例えば、「1時間あたり最低240部品の生産能力を持ち、9台以下の機械を使用する生産ラインが必要です」という問い合わせがあった場合、応答としてクラス c = '（240, None, 9）' が返されます。「None」は明示されていない人間のスキルのプレースホルダーとして機能します。

拡散モデル

拡散モデルは、訓練データから構成の基礎となるパターン、特徴、および分布を学習し、新しいサンプルを生成するために使用されます。拡散モデルは、ノイズが混入されたデータを段階的に精緻化して新しいサンプルを生成する点で、他の機械学習モデルとは異なります。このプロセスには、図2に示すように2つのプロセスがあります。

前進プロセス：各ステップでデータ 𝑥₀ が破壊されるまでノイズ 𝜖_𝑡 を追加する。

逆進プロセス：推定されたノイズを段階的に取り除いて新しい 𝑥₀ をサンプリングする。

図2：ディフュージョンモデルの前進および逆進プロセス前進プロセスでは、入力データ 𝑥0 にガウスノイズ 𝜖 ∼ 𝑁 ( 0 , 𝐼 )を各ステップ 𝑡 ∈ 𝑇で導入し、前進プロセスの分散 𝛽𝑡によって決定される重みで計算されます。逆進プロセスでは、学習モデル ℎ𝜃を使用して、ノイズ 𝜖𝑡 を 𝑧𝑡と現在のステップ 𝑡、およびクラスラベル 𝑐の関数として推定します。

学習モデル

学習モデル ℎ_𝜃は、U-Net構造を利用して、ノイズ推定を効率的に行います。U-Netは、プーリングおよび転置畳み込み経路間の情報の流れを促進するために使用されます。残差畳み込みブロックは、行列形式のデータに対して階層的な特徴抽出とパターン認識を強化するために調整されています。スキップ接続の導入により、異なるレベルのU-Net間で学習された特徴と文脈情報をシームレスに統合し、ネットワーク全体で空間的な特徴を保持します。

図3：残差畳み込みブロックを用いたノイズ推定のためのU-Netアーキテクチャ。

各ブロックは、バッチ正規化、GELU活性化、出力テンソルに入力を追加する残差接続を持つ2つの連続した畳み込み層を持ち、ネットワークが残差マッピングを学習することを保証します。

夢見るプロセス

この研究では、メタヒューリスティクスを用いて潜在的な意思決定を探索する「夢見るプロセス」を導入しています。このプロセスは、需要、人間、資産の能力にランダムな将来のシナリオを生成し、対応する構成とスケジュールの決定を行います。遺伝的アルゴリズムにインスパイアされた選択、交叉、変異操作を統合することで、データの蓄積を加速し、多様で適切な構成の生成を促進します。夢見るプロセスは、モデルの収束ではなく、事前に定義された反復回数後に終了し、バランスの取れたデータセットを確保します。

結果

GMSの実装およびシミュレーション結果について述べます。本研究では、産業用部品加工のユースケースでGMSを実装し、シミュレーションを行いました。システムは9種類の資産と運用/運用設定を想定し、7つのステーションに分散され、柔軟な協力を促進します。人間のスキルレベルは高/中/低（120/60/0 部品/時間）でランダム化されました。

図4：目標容量に応じた構成のサンプリングプロセス

夢見るプロセスでは、25世代にわたって作業者のスキルをランダム化し、各世代で40の潜在的な構成を含むようにしました。Cplexを使用して構成と最適なスケジュールのマッピングを取得しました。シミュレーションは120ランタイムユニットにわたり、訓練目的で15時間にわたって120,000のデータを生成しました。ディフュージョンプロセスと学習モデルは、PythonとPyTorchを使用して実装されました。最適なチューニング結果に基づいて、プロセスの分散は𝛽₀=10⁻⁴および𝛽_𝑇=0.02、総ステップ数はT = 400、ガイダンス強度はw = 2に設定されました。

拡散モデルは、指定された目標容量に対して合理的な構成を生成するためにサンプリングプロセスを通じて訓練されました。ステップ数が減ると、サンプリングされた構成は合理性が増し、明確なレイアウトを生成します。合理的な生成は、キーとなる特徴とパターンの暗黙知の巧みな蓄積に依存しています。例えば、容量が0の構成は、マトリックスの後半部分に淡い色が主に表示されており、特定のタイプの資産が最小限しか使用されていないことを示しています。容量が増えると、多様なタイプの資産（濃い色）が含まれ、並列生産と運用効率が向上します。

表1：他のアルゴリズムとの意思決定時間の比較

拡散モデルは、指定された容量全体で、意思決定時間が9ミリ秒から16ミリ秒の範囲に収まりました。この一貫した効率は、他のアルゴリズムと比較して定量的な改善を示しており、通常は10秒を超えるか、場合によっては300秒を超えても目標容量に到達しないことがあります。拡散モデルの一貫した効率は、訓練-サンプリングアプローチのアルゴリズム効率の向上を示し、GMSの不確実性に対する応答性と回復力を大幅に強化します。

表2：ガイダンスの有無によるモデル性能

生成されたサンプルの品質を包括的に評価するために、ランダムに1000の構成をサンプリングし、以下の3つのメトリクスで評価しました：

精度：要求される容量との一致の精度（Accu）および平均二乗誤差（MSE）

多様性：訓練データに存在する生成構成の重複率（DR）

忠実度：訓練データの分布と比較した生成サンプルの知覚品質と忠実度を測定するFrechet Inception Distance（FID）

ガイダンスの有無による拡散モデルの性能を以下に示します。ガイダンスありのモデルは、要求される要件に対して精度が向上し、MSEが低く、多様性が高い決定を生成しました。FIDスコアは、極端な容量でははるかに低く、対応する構成の類似性が高いため、中容量では高くなります。全体として、これらの精度が高く、忠実度が高く、多様性のある決定は、不確実性や多様な目標に対応するGMSの回復力と創造性を示しています。

結論

本研究は、製造資産の自律性を活用して不確実性や人間の希望、新たな生産目標に対応するためのGenerative Manufacturing Systems（GMS）を紹介しています。GMSは、モデル最適化から訓練-サンプリングへの意思決定のパラダイムシフトを示します。産業用ユースケースにおける実証結果から、GMSは意思決定時間、多様性、品質の点で既存のアプローチを一貫して上回り、その回復力と創造性を強調しています。

GMSは、人間の問い合わせや追加の目標に応じて構成とスケジュールを巧みに調整し、人間中心の意思決定を促進することで、協力的な探索と継続的な改善を可能にします。将来の研究では、診断や品質管理などの多様なシナリオや、炭素排出量や人間の幸福といったパフォーマンス指標を探索し、固定クラスではなく埋め込みを通じてより複雑な人間の問い合わせを取り入れることが考えられます。