【AdaptIoT】製造業における因果関係を活用した自己ラベル付けシステム

IoT 2024年09月27日

3つの要点

✔️ AdaptIoTは、製造業でインタラクティブ因果関係を活用した自己ラベル付けをサポートし、高スループットと低遅延のデータ取得、MLアプリケーションの統合を実現
✔️ 自己ラベル付けサービスでタスクモデルの適応を自動化し、継続学習によりモデルの精度と安定性が向上
✔️ 3Dプリンター実験で、他の半教師あり学習よりも高精度を達成

A Cyber Manufacturing IoT System for Adaptive Machine Learning Model Deployment by Interactive Causality Enabled Self-Labeling
written by Yutian Ren, Yuqi He, Xuyin Zhang, Aaron Yen, G. P. Li
[Submitted on 9 Apr 2024]
Comments: Accepted by arXiv
Subjects: Machine Learning (cs.LG); Systems and Control (eess.SY); Methodology (stat.ME)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

概要

機械学習（ML）は多くの製造アプリケーションにおいて生産性向上に寄与することが実証されています。これらのMLアプリケーションの受け皿として、製造アプリケーション向けにいくつかのソフトウェアおよび産業用IoT（IIoT）システムが提案されています。最近では、適応型MLアプリケーションを進化させるために、インタラクティブな因果関係を活用した自己ラベル付け方法(SLB)が提案されました。この方法は、デプロイ後のデータ分布の変化に対応するためにMLモデルを自動的に適応させ、パーソナライズすることが可能です。自己ラベル付け方法のユニークな特徴は、様々なレベルで動的に対応できる新しいソフトウェアシステムが必要です。

この論文では、エンドツーエンドのデータストリーミングパイプライン、MLサービスの統合、および自動自己ラベル付けサービスを含むAdaptIoTシステムを提案します。自己ラベル付けサービスは、因果関係の知識ベースと自動化されたフルサイクルの自己ラベル付けワークフローから成り、多数のMLモデルを同時に適応させます。AdaptIoTは、小規模および中規模の製造業者にスケーラブルでポータブルなソリューションを提供するためのコンテナ化されたマイクロサービスアーキテクチャを採用しています。自己ラベル付け型適応MLアプリケーションのフィールドデモンストレーションが、メーカースペースで行われ、信頼性の高い性能を示しました。

はじめに

サイバーフィジカルシステム（CPS）へのリアルタイム機械学習（ML）技術の統合、特にスマート製造では、センサーのデータストリーム、MLアプリケーションのデプロイメント、およびデータ可視化を調整するためのハードウェアおよびソフトウェアプラットフォームが必要です。現代の製造システムは、IoT（Internet of Things）システム、サービス指向アーキテクチャ、マイクロサービス、データレイクおよびデータウェアハウスなどの高度なサイバー技術を活用しています。MLアプリケーションは既存のツールと統合され、スマート製造システムをサポートし、実現することができます。

例えば、Yenらは、IoTセンサー統合を用いて製造システムのヘルスを管理するソフトウェア・アズ・ア・サービス（SaaS）フレームワークを開発し、データと知識の共有を促進しました。また、Mourtzisらは、中小規模の製造業者（SMMs）向けに、テラバイト規模のデータを月単位で処理するためのビッグデータソフトウェアエンジニアリング技術を取り入れたIIoTシステムを提案しました。Liuらは、クラウド製造パラダイムにおける効率的なデータ管理と伝送を促進するために、サービス指向のIIoTゲートウェイとデータスキーマを設計しました。

著者らの研究の主な目的は、製造における個別化された知能を提供することであり、そのためにはMLモデルのデプロイ後の環境適応が必要です。しかし、製造環境で個別化されたMLシステムを開発・展開するにはいくつかの障壁があります。例えば、手動でトレーニングデータセットを収集・アノテーションするコストは、特に中小規模の製造業者（SMMs）にとって、ML強化スマート製造システムの普及を遅らせる要因となっています。

最近では、様々なデプロイメント環境に適応する適応型機械学習が、SMMsにとってのMLの参入障壁を下げる有効な解決策として登場しています。擬似ラベルを用いた半教師あり学習（SSL）、遅延ラベル、ドメイン知識を活用した学習など、いくつかの適応型ML方法が提案されています。

新しいインタラクティブ因果ベースの自己ラベル付け方法が、製造サイバーフィジカルシステムアプリケーションで適応型機械学習を実現するために提案されました。この方法は、ドメイン知識から抽出された因果関係を利用して、デプロイ後の自己ラベル付けワークフローを自動化し、MLモデルをローカル環境に適応させます。自己ラベル付け方法はリアルタイムでデータを自動的にキャプチャし、ラベル付けし、限られた事前割り当てデータセットや公共データセットを効果的に利用します。

この方法をサポートし実行するためには、特にSMMs向けに、以下の要件を満たすシステムインフラが必要です：

異種サービスやデバイスからのセンサー、音声、ビデオデータのリアルタイムタイムスタンプ付きデータ転送。
モデル間の相互作用を管理し、因果関係のあるノード間で自己ラベル付けMLを促進する因果関係知識ベース。
MLサービスを接続し、データストリームをルーティングし、自己ラベル付けワークフローを実行し、エッジでMLモデルを自律的に再訓練および再デプロイするコア自己ラベル付けサービス。
新しいエッジ、ML、およびSLBサービスを簡単に統合できるスケーラブルなアーキテクチャ。

インタラクティブな因果関係のユニークなニーズに対応するために、様々なMLモデルの自己ラベル付け機能を実現する新しいソフトウェアシステムが必要です。このソフトウェアシステムは、リアルタイムのIoTセンサーデータ、ML、および自己ラベル付けサービスを活用して、環境の変化に応じてモデルの適応を可能にします。

インタラクティブ因果関係と自己ラベル付け方法の概要

因果関係を活用した自己ラベル付け方法

インタラクティブ因果関係を活用した自己ラベル付け（SLB）方法は、MLシステムの適応学習を実現するために開発されました。この方法は、デプロイされたMLモデルがローカルのデータ分布の変化に適応できるようにするためのもので、リアルタイムで自己ラベル付けを行います。自己ラベル付けは、ドメイン知識とオントロジーから抽出された動的因果知識グラフ（KG）内の因果関係のあるノードを選択することから始まります。

図1に示すように、自己ラベル付けは、動的因果知識グラフ（KG）内の因果関係のあるノードを選択することから始まります。この選択されたノードは、時間の経過に伴って因果関係が変動することがあり、効果状態の遷移と関連しています。SLBは、1つ以上のデータストリームを監視し、因果関係のあるイベントの発生時間を観察します。

自己ラベル付けには、以下の3種類のモデルが必要です：

効果状態検出器（ESD）：効果データを監視し、効果状態の遷移を検出します。
インタラクション時間モデル（ITM）：効果データを入力として因果時間の遅れを予測します。
タスクモデル：因果関係のあるデータを入力特徴量として使用し、効果遷移をラベルとしてタスクモデルを訓練します。

図1は、自己ラベル付け全体の手順を示しています。

図1. セルフラベリングの全体的な手順の説明図。

タスクモデルの継続学習

タスクモデルは、SLBを通じて継続的に学習します。継続学習は、入力および/または出力データ分布が初期のトレーニング時から変動するシナリオで特に有益です。因果関係はデータのドリフトに対して強靭であり、この強靭性が自己ラベル付け方法に受け継がれ、継続学習の基盤を提供します。SLBは、人間の介入なしに、原因データを効果状態遷移と関連付け、これを用いてタスクモデルを訓練します。

システムインフラの要件

SLB方法をサポートし実行するためには、特に中小規模の製造業者（SMMs）向けに、以下の要件を満たすシステムインフラが必要です：

異種サービスやデバイスからのリアルタイムタイムスタンプ付きデータ転送。
モデル間の相互作用を管理し、因果関係のあるノード間で自己ラベル付けMLを促進する因果知識ベース。
データストリームをルーティングし、自己ラベル付けワークフローを実行し、エッジでMLモデルを自律的に再訓練および再デプロイするコア自己ラベル付けサービス。
新しいエッジ、ML、およびSLBサービスを簡単に統合できるスケーラブルなアーキテクチャ。

AdaptIoTのソフトウェアアーキテクチャ

AdaptIoTシステムのソフトウェアアーキテクチャは、自己ラベル付けアプリケーションをサポートするために設計されたモジュール式の構造を持ちます。このセクションでは、システムの主要な機能モジュールとそれぞれの役割について説明します。

モジュールレベルのアーキテクチャ

AdaptIoTシステムは、エッジサービス、データストリーミングマネージャ（DSM）、ストレージ用のデータベース、機械学習（ML）サービスのクラスタ、インタラクティブ因果エンジン（ICE）、およびフロントエンドのグラフィカルユーザーインターフェース（GUI）ハンドラで構成されます。エッジサービスは、センサー、エッジコンピューティングデバイス、外部アプリケーション、および工場の機械から成り立っています。現地のエッジサービスは、DSMを介してデータベースやアプリケーションにデータをストリーミングします。DSMは、高スループットのストリーミングデータを適切な宛先にルーティングするバックエンドとして機能します

データベースには、タイムシリーズデータベース、SQLデータベース、NoSQLデータベースなど、複数の種類が実装されています。これらは、生のタイムスタンプ付きセンサーデータ、サービスやデバイスのメタデータ、処理済みのML結果、自己ラベル付け結果などを保存します。さらに、タスクモデル、効果状態検出器（ESD）、インタラクション時間モデル（ITM）などのMLサービスのクラスタが運用され、自己ラベル付けワークフローに参加しつつアクション可能なインテリジェンスを提供します。

図2は、自己ラベル付けアプリケーションのためのIIoTシステムの高レベルブロック図を示しています。

図2. セルフラベリングアプリケーションのための提案されたIIoTシステムのハイレベルブロック図。

インタラクティブ因果エンジン（ICE）

インタラクティブ因果エンジン（ICE）は、デプロイされたMLタスクモデルの適応性を実現するためのコアエンジンです。ICEは、因果知識グラフデータベース、情報インテグレータ、自己ラベル付けサービス、自己ラベル付けトレーナーで構成されます。これらの4つのコンポーネントは、それぞれ異なるタスクを担当し、自動的に自己ラベル付けワークフローを実行します。

因果知識グラフデータベースは、ノード間の相互作用と因果関係を表す複数の知識グラフ（KG）を格納します。これらのKGは、既存のドメイン知識から抽出および再構成されます。図3(a)は、3Dプリンターの簡略化された知識グラフの例を示しています。グラフ内のリンクは相互作用を示し、ノード間の接続は因果関係の可能性を示唆します。

図3 （a）3Dプリンタのユースケースを簡略化した知識グラフ； (b) 因果関係にあるHand&ArmノードとControllerノードの対応する状態遷移関係。

情報インテグレータは、因果KGデータベース、自己ラベル付けサービス、センサーメタデータ、MLサービス、およびユーザーを接続し、必要な情報を統合して自己ラベル付けを制御します。情報インテグレータを介して、ユーザーは因果リンクされたノード間の自己ラベル付けワークフローを開始または停止できます。

自己ラベル付けサービスは、情報インテグレータから入力を受け取り、自己ラベル付けワークフローを開始します。これにより、生データストリームの収集、MLサービスとの連携、自己ラベル付けトレーナーとの協調が行われます。

自己ラベル付けトレーナーは、自己ラベル付けされたサンプルの数を常に監視し、ユーザーのコマンドを受けてタスクモデルを再訓練および再デプロイします。このトレーナーは、再利用性と拡張性のために自己ラベル付けサービスから独立して設計されています。

ユニットサービスモデル

AdaptIoTシステムのスケーラビリティと均質性を確保するために、抽象化された層別のユニットサービスモデルが設計されています。このモデルは、システム内のすべてのサービスに適用され、データを生成し、ストレージ場所に送信する標準化されたインターフェースを提供します。ユニットサービスモデルは、アセット層、データ生成層、サービス層、API層の4つの層から成り立っています。

アセット層：センサーや機械などの独立したコンポーネントを抽象化します。

データ生成層：データ生成を担当し、アセット層とのインターフェースを提供します。

サービス層：データ生成層と統合し、必要なサービス機能を実行します。

API層：APIエンドポイントを定義し、他のサービスとの相互作用を管理します。

システム実装と分析

AdaptIoTシステムの実装には、ハードウェアとソフトウェアのインフラが含まれ、具体的な例として自己ラベル付けサービスの実装が示されています。

サイバーメーカースペースのハードウェアインフラ

AdaptIoTシステムは、サイバーメーカースペースラボに展開されており、以下の製造機器が含まれています：

3Dプリンター
CNC機械（フライス盤および旋盤）
協働ロボット
TIG溶接機

各機械には、カメラ、パワーメーター、振動センサー、音響センサー、距離センサー、環境センサーなどのマルチモーダルセンサーが取り付けられています。センサーは、機械の重要なコンポーネントや複数の位置に配置され、データ収集を行います。また、CNC機械とロボットはプログラマブルロジックコントローラ（PLC）によって制御され、機械の稼働状態の情報を直接取得します。

AdaptIoTシステムのソフトウェア実装

AdaptIoTシステムの実装には、以下のソフトウェアコンポーネントが含まれます：

メッセージキュー：分散システムやコンピュータネットワークで非同期通信を行うための方法です。Apache Kafkaが使用され、水平スケーラビリティと高スループットを提供します。
データベースとストレージ：以下の種類のデータが保存されます：
メタデータ：MySQLデータベース
高スループットセンサーデータ：タイムシリーズデータベースのInfluxDB
MLサービスの結果：MongoDBおよびMySQL
因果知識グラフ：グラフデータベースのNeo4j
ビデオおよびオーディオデータ：ファイルシステム

図4は、AdaptIoTシステムのハードウェアおよびソフトウェアインフラを示しています。

図4. ハードウェアとソフトウェアのインフラ。各ブロックはコンテナ化されたソフトウェア・サービスを表します。

図5. リアルタイムデータとMLの結果を表示するWeb GUI。

データフロー

AdaptIoTのデータフローは、エッジセンサーからMLサービスまでの完全なデータの流れを以下の手順で説明します：

データ生成：エッジセンサーがサンプルを生成し、Kafkaクラスターに送信します。
データルーティング：サンプルはKafkaクラスター内で処理され、InfluxDBに保存されます。また、データディスパッチャがHTTPデータストリーミングとしてルーティングし、MLサービスがデータストリームを受信します。
結果の保存：推論されたML結果は再びKafkaに送信され、MongoDBに保存されます。

図6は、外部アプリケーションからデータを受信するユニットサービスモデルの詳細な実装を示しています。

図6. 外部アプリケーションからデータを受信する単位サービスの例。

インタラクティブ因果エンジン（ICE）の実装

ICEの実装には、ノード間の因果関係を表すデータ構造と、因果論理関係を管理するためのデータ構造が含まれます。因果知識グラフはNeo4jデータベースに格納され、真理値表はMongoDBにキーと値のペアとして保存されます。

自己ラベル付けサービスは、関連するパラメータを指定して自己ラベル付けを適用できる標準クラスSlbServiceを定義しています。自己ラベル付けの出力は、効果状態、原因状態の終了タイムスタンプ、原因状態の継続時間の3つのキー値を含みます。

図7. 多重効果のためのセルフラベリングモジュラー構造。

図8. ペアワイズセルフラベリングの初期化によるMLサービス間の仮想的な相互作用の説明図。

システム特性評価

AdaptIoTシステムの主要な性能指標を評価するために、システム特性評価が実施されました。以下の要素が評価されました：

エッジノードのスループット：1つのエッジノードの平均スループットは284 msg/sで、平均メッセージサイズは250.2バイト、平均遅延は31ミリ秒、最大遅延は64ミリ秒です。
カメラストリーミング：Raspberry Pi 4BとRaspberry Pi Camera Module 3を使用し、プレビューとフルHDの2つのモードでストリーミングを行います。プレビューモードの平均遅延は39ミリ秒で、フルHDモードでは高品質の画像データが取得されます。

表1は、単一のエッジノードのテスト結果を示しています。

表1：単一エッジノードのテスト結果

これらの結果から、AdaptIoTシステムは高スループットと低遅延を実現しており、複数のエッジサービスとMLサービスの統合が可能であることが示されました。

AdaptIoT上で動作する自己ラベル付け実験

このセクションでは、自己ラベル付けアプリケーションの実際の例を示し、AdaptIoTシステムの効果を実証します。この自己ラベル付けアプリケーションは、3Dプリンターでの作業者と機械のインタラクションを検出するための適応型モデルを使用しています

実験の概要

実験は、インタラクティブ因果関係を活用して、3Dプリンターでの作業者の動作認識モデルを適応させることを目的としています。因果関係の片側にはカメラを使用して作業者の動作を検出し、もう一方にはパワーメーターを使用して機械の応答をエネルギー消費の形で検出します。

知識グラフの構築

この自己ラベル付けアプリケーションは、作業者、機械、および材料の間の因果関係を表すドメイン知識を抽出し、因果知識グラフ（KG）を構築することで実装されます。図3は、3Dプリンターの簡略化された知識グラフを示しています。このグラフは、作業者の動作と機械の状態変化を関連付けるために使用されます。

センサーとMLサービスの実装

5つのノードに対応する5つのセンサーが実装され、それぞれの状態変化を検出するためのMLサービスが対応します。以下のノードが実装されました：

作業者の動作：カスケードされたOpenPoseとグラフ畳み込みネットワーク（GCN）を用いて認識します。

機械の電力変化：イベント検出器と分類器を用いて検出します。

図9は、3Dプリンター自己ラベル付けユースケースの実験セットアップを示しています。

図9. 3Dプリンターセルフラベリングユースケースの実験セットアップ。(a) はタスクモデルのデータ処理パイプラインを示し、（b）は電流信号のESDパイプラインパイプラインを説明します。

自己ラベル付けの実行

この実験では、400サンプルのデータセットを手動で収集およびラベル付けし、検証とテストに使用しました。3週間にわたって3Dプリンターを使用し、AdaptIoTシステムを用いて200サンプルの自己ラベル付けデータセットを自動的に収集およびラベル付けしました。

モデルの評価

自己ラベル付けによって生成されたデータセットを用いてタスクモデルを再訓練し、その精度を評価しました。表３に、いくつかの半教師あり学習アプローチと比較した精度を示します。

表３：実験データセットで訓練されたモデルの精度（％）

この結果から、自己ラベル付け方法は他の半教師あり学習方法よりも一貫して高い精度を示し、トレーニングの安定性が向上することがわかります。

結論

この研究では、サイバーフィジカルシステムにおける適応型機械学習アプリケーションの開発を支援するために、インタラクティブ因果関係を活用した自己ラベル付けワークフローをサポートするIoTシステムであるAdaptIoTを設計し、実証しました。AdaptIoTは、製造IoTのデジタル化とインテリジェント化のためのWebベースのマイクロサービスプラットフォームとして設計されており、エンドツーエンドのデータストリーミングコンポーネント、機械学習の統合コンポーネント、および自己ラベル付けサービスを含みます。AdaptIoTは、高スループットと低遅延のデータ取得、およびMLアプリケーションのシームレスな統合とデプロイメントを保証します。

自己ラベル付けサービスは、リアルタイムかつ並行してタスクモデルの適応を可能にするため、自己ラベル付けワークフロー全体を自動化します。AdaptIoTシステムは、大学のラボとしてメーカースペースに展開され、将来の適応学習サイバーフィジカル製造アプリケーションの開発のための基盤として機能します。AdaptIoTに基づいて、今後さらに多くの適応型MLアプリケーションが開発されることが期待されます。

このシステムは、以下の特徴を持っています：

高スループットと低遅延のデータ取得：AdaptIoTは、リアルタイムで大量のデータを処理し、効率的にデータを取得します。
シームレスなMLアプリケーションの統合：AdaptIoTは、MLアプリケーションの統合とデプロイメントを容易にし、製造プロセスのインテリジェント化を促進します。
自己ラベル付けの自動化：自己ラベル付けサービスは、タスクモデルの適応をリアルタイムで自動化し、継続的な学習を可能にします。

将来的には、AdaptIoTを基盤として、より多くの適応型MLアプリケーションがサイバーフィジカル製造の分野で開発され、実用化されることが期待されます。

この記事に関するカテゴリー

友安昌幸 (Masayuki Tomoyasu): JDLA G検定2020#2, E資格2021#1 データサイエンティスト協会 DS検定日本イノベーション融合学会　DX検定エキスパート合同会社アミコ・コンサルティング CEO

最新AI論文をキャッチアップ

【AdaptIoT】製造業における因果関係を活用した自己ラベル付けシステム

概要

はじめに

関連研究