プライバシー保護しながら分散データを活用する連合学習ベースの統合オブジェクト検出
3つの要点
✔️ プライバシー保護しつつ、分散データを活用する連合学習を品質検査タスクに応用
✔️ オブジェクト検出アルゴリズムとしてYOLOv5を、FLアルゴリズムとしてFederated Averagingを用いる
✔️ 非分散データセットを用いたモデルと比較して、むしろより良い汎化性能を達成
Federated Object Detection for Quality Inspection in Shared Production
written by Vinit Hegiste, Tatjana Legler, Martin Ruskowski
[Submitted on 30 Jun 2023 (v1), last revised 25 Aug 2023 (this version, v2)]
Comments: Will submit it to an IEEE conference
Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
概要
Federated Learning（FL: 連合学習）は、データのプライバシーを損なうことなく、分散化されたデータ上で機械学習モデルを学習するための有望なアプローチとして浮上しています。2017年にGoogle社が提唱しました。本論文では、オブジェクト検出アルゴリズムとしてYOLOv5を、FLアルゴリズムとしてFederated Averaging (FedAvg)を用いた、品質検査タスクにおけるオブジェクト検出のためのFLアルゴリズムを提案します。このアプローチを製造業のユースケースに適用します。このユースケースでは、複数の工場/クライアントが、非IIDデータセット上でデータプライバシーを保持しながら、グローバルオブジェクト検出モデルのトレーニングのためにデータを提供します。実験により、このFLアプローチが、ローカルクライアントのデータセットを用いて訓練されたモデルと比較して、全体的なクライアントのテストデータセットにおいてより良い汎化性能を達成し、オブジェクトの周りに改善されたバウンディングボックスを生成することを実証します。この研究は、製造業における品質検査タスクのためのFLの可能性を示し、連合オブジェクト検出のためのYOLOv5とFedAvgの活用の性能と実現可能性についての貴重な洞察を提供します。
はじめに
物体検出(OD)は、ディープラーニングにおいて最も一般的で有用なタスクの1つです。導入説明は省きます。フェデレーテッド機械学習は、複数のクライアント／関係者が個人データを共有することなく機械学習モデルを共同で学習する協調学習シナリオにおけるプライバシーの懸念に対処するための可能性をもたらしています。したがって、物体検出に水平FLを使用することは、同じクラスに属する異なるクライアントから様々なサンプルを取得することを可能化し、グローバルモデルを助けることになります。これにより、最終的なグローバル連合モデルは、ローカルに訓練されたモデルと比較して、よりロバストになります。
著者らの以前の研究では、FLを製造業の品質検査における画像分類タスクに適用し、このアプローチがデータのプライバシーを保持しながら、集中学習に匹敵する性能を達成できることを示しました。場合によっては、グローバルモデルは、集中学習を用いて学習されたモデルよりも、データセットの特徴空間に対してより良く汎化することさえできます。本論文では、オブジェクト検出アルゴリズムとしてYOLOv5を、FLアルゴリズムとして連合平均を使用し、品質検査タスクにおけるオブジェクト検出のためのFLアルゴリズムを提案することで、これまでの研究を拡張します。物体検出は品質検査において重要なタスクであり、画像中の欠陥を検出して広げないことは、製品の品質を保証するために不可欠です。FLアプローチを使用することで、データのプライバシーを維持しながら、複数の工場からのデータを組み込んだグローバルなオブジェクト検出モデルを訓練することができます。著者らの実験は、製造業における品質検査タスクに対するこのアプローチの実現可能性と有効性を実証しています。さらに、FLに基づく品質検査サービスが、スキルベース生産に基づく生産レベル4の共有生産エコシステムにどのように統合できるかを強調しています。Shared Productionの要件をサポートするために、著者らは品質検査サービスをSoftware-as-a-serviceとしてマーケットプレイスで提供します。つまり、品質検査サービスは自己記述機能を持つ必要があります。相互運用性を実現し、マーケットプレイスにソフトウェアを提供するために、著者らはAsset Administration Shell (AAS)を使用して、サブモデルの形式でソフトウェアサービスを記述します。
関連研究
OD (Object Detaction)からの出力は、固定された環境における物体の位置の特定、物体のカウント、物体のセグメンテーション、故障の検出と分類など、複数の用途に使用することもできます。これらの機能は、品質検査業界において、類似の製品/ユースケースに取り組む複数のクライアントが協力して、あらゆるタイプのエラー/故障を検出できるグローバル・モデルをトレーニングする際に非常に役立ちます。連合オブジェクト検出（連合OD）はこのシナリオで非常に有用であり、グローバル連合モデルは特定のクラスに属するすべての交通標識サンプルを検出することができます。この分野で発表された論文は非常に少なく、特定のカスタムユースケースにアルゴリズムを適用した論文はありません。Luoらは、実際のデータセットにアルゴリズムを導入することでこの問題に取り組もうとしていますが、このアプリケーションは、街中の一般的なオブジェクトの一般的なオブジェクト検出のための監視カメラからの画像に焦点を当てているだけで、特定のユースケースに取り組んだり、グローバルモデルの精度やローカルクライアントモデルとの比較に関する詳細な分析を行ったりしていません。また、この論文ではYOLOv3が使用されていますが、これは現在の最先端であるYOLOv5を容易に凌駕しています。YOLOv5アルゴリズムでFLを使用した残りの論文は、Bommelらがラベルなしデータ問題を解決するために連携OD中に能動学習を導入しています。Zhangらは、FLのプライバシーの課題を解決するために、視覚的物体検出のためのブロックチェーンベースの連合学習システムであるFedVisionBCを紹介しています。FedCVは、連合ODのプロセスを自動化するためのフレームワークを作成することに焦点を当てていますが、リポジトリはまだ作業中であり、基本的な公共データセットに対するモデルを実証する論文であるため、カスタムのユースケースに使用するのはそれほど簡単ではありません。Suらは、ResNet50をバックボーンとするRetinaNetを検出アルゴリズムとして使用しています。著者らの論文は、FedAvgを使用した連携ODの同様のアルゴリズムに従い、異なるユースケースを使用して、非IID（独立同分布）データセットを使用した共有生産シナリオにおける品質検査のための連携ODの有用性を探ろうとしています。
資産管理シェル（AAS）のコンセプトは、インダストリー4.0の文脈におけるデジタルツインの実装として機能します。資産やサービスのデジタル表現として機能するAASは、資産やサービスのすべての関連情報と機能性を包含する様々なサブモデルで構成されます。これには、その特徴、特性、性質、能力が含まれます。AASは、多様なチャネルやアプリケーションを介したコミュニケーションを促進し、物理的なオブジェクトと、接続されたデジタルで分散した世界との間の重要なリンクとして機能します。当初は物理的資産のデジタル表現を作成するために採用されたAASは、現在ではソフトウェア・モジュールも収容することができます。その統合は、新たな生産アーキテクチャに生産モジュールを組み込むための基本的な前提条件です。2025年に向けて、柔軟な生産ネットワークは、デジタルプラットフォームGaia-X の採用を通じてシームレスに動作することを目指しています。機械やサービスなどの資産が将来的に欧州のデータプラットフォームGaia-Xに統合されるためには、セキュリティやスキル記述に関する考慮事項を含む特定の技術基準を満たす必要があります。この関連情報はAAS内にカプセル化され、コンプライアンスを保証し、資産がGaia-Xエコシステム内に効果的に参加できるようにします。
手法
製造業における品質検査USBスティックのユースケースは、YOLOv5アルゴリズムが用いるYOLOフォーマットで以前のデータセットに注釈を付けることで拡張されました。このアルゴリズムの使いやすさをさらに拡張するために、図1にあるように、2つの企業/クライアントがキャビンとフロントガラスを製造するという新しいユースケースを紹介します。ここでの品質検査のユースケースは、キャビンがフロントガラス付きかフロントガラスなしかを検出することです。
| 図1. フロントガラス付きキャビン（4種類）とフロントガラスなしキャビンの使用例。 |
この論文で採用されているFLアルゴリズムはFedAvgです。中立サーバーは、すべてのクライアントからのモデル重みに対して連合平均を実行するために利用されます。各通信ラウンドにおける全クライアントの積極的な参加や、モデル重みを共有する際の信頼性など、一定の仮定がなされています。訓練プロセスを開始する前に、全てのクライアントは標準化されたラベル命名法、YOLOモデルアーキテクチャ、ローカルエポック、オプティマイザ、バッチサイズなどのハイパーパラメータに合意します。その後、それぞれのローカル学習手順を開始します。
データセット
USB とキャビンの品質検査のユースケースを説明します。USBの品質検査から始めると、3つのクライアントがあり、それぞれに「OK」、「Not Okay」、「Hidden」の3つのクラスがあります。データセットは非独立同一分布（non-IID）であり、それぞれのクラスとデータセットの分布は図2の通りです。クライアント1はファーウェイのUSBスティック、クライアント2は青レンガスタイルのUSBスティック、クライアント3は赤レンガスタイルのUSBスティックを持っています。各クライアントは3つのクラスで構成され、各クライアントの「Not OKAY」クラスは異なるエラータイプを持っています。図3に示すように、クライアント1のUSBエラーはUSBポートに傷を示す小さなシールの跡があり、クライアント2のUSBエラーはUSBポートが損傷しており、クライアント3のエラーはUSBポートが錆びています。論文で紹介したユースケースと同様、カスタム品質検査のための連合画像分類の成功を紹介しましたが、この論文では、連合ODアルゴリズムが、グローバル連合モデルがすべての異なるタイプのUSBエラーを学習でき、さらに重要なことに、オブジェクト上に完全なバウンディングボックスを描画できる、同じ結果を達成できるかどうかを確認することを目的としています。
| 図2. クライアント1（左：Huawei）、クライアント2（中央：SF青）、クライアント3（右：SF赤）のトレーニングデータセット分布とラベルインスタンス |
| 図3. USB品質検査データセットの小さなサブセット例、クライアント1（左がHuawei）、クライアント2（中央がSFの青）、クライアント3（右がSFの赤） |
2つ目のユースケースでは、フロントガラス付きとフロントガラスなしのキャビンを製造する2つの企業/クライアントがあります。主な用途は、与えられたビデオや画像内の物体を分類し、正しく検出するための物体検出モデルを作成することです。クライアント1は青いキャビンと青いフロントガラス（タイプAとB）のみを製造しており、クライアント2は赤いキャビン（青いキャビンとは少し異なるデザイン）とフロントガラス（タイプCとD）を製造しています（図5参照）。各クライアントのトレーニングデータセットのクラスインスタンスは図4にあります。各クライアントには合計約600枚の画像があり、そのうち15%ずつを検証とテストに使用しました。データセットは、キャビンがシャーシに設置され（キャビンのみがアノテーションされる）、3つの異なる背景で作成されました。異なる照明条件、影、ぼやけた画像など、様々なパラメータもカスタムデータセットの作成により導入されました。
| 図4. クライアント1（左：青いキャビン）、クライアント2（右：赤いキャビン）のトレーニングデータセット分布とラベルインスタンス |
| 図5. 機内品質検査データセットの小さなサブセット、クライアント1（左が青い機内）、クライアント2（右が赤い機内） |
実装
前述したように、異なるデザインとタイプのキャビンとフロントガラスの製造に携わる2つの顧客がいます。彼らのローカル品質検査モデルでは、それぞれのローカルデータセット（図5参照）を利用して、与えられたフレーム内のフロントガラスの有無を検出できるYOLOv5モデルを学習します。両クライアントのモデルは、それぞれのローカルテストデータセットで95%以上の精度を達成しました。クライアント1のモデルは、フロントガラスのない青いキャビンと、タイプAとBのフロントガラスのあるキャビンで評価され、クライアント2のモデルは、フロントガラスのないキャビンと、タイプCとDのフロントガラスのあるキャビンでテストされました。つまり、クライアント1社は既存の生産に加え、ウィンドシールドのタイプがCとDのキャビンを生産し、クライアント2社はウィンドシールドのタイプがAとBのキャビンを生産する予定です。各クライアントの古いデータセットに基づいてローカルに学習させたモデルを、新しいキャビンとウインドシールドの組み合わせでテストしました。しかし、その結果、ローカルモデルは画像を「フロントガラスなしのキャビン」と「フロントガラスありのキャビン」のいずれかに正しく分類するものの、生成されるバウンディングボックスは不正確で、フロントガラスの一部が切り取られることもありました。場合によっては、図6の左下のように、偽陽性が検出され、信頼スコアが低いラベルが割り当てられます。各クライアントがデータセットを共有し、品質検査のために集中管理されたYOLOv5モデルを訓練する可能性はありますが、個人的な理由や競争上の理由から、ローカルの生画像データを共有することはできません。その結果、両クライアントとも、新しい組み合わせのために新しい追加データを作成し、データセットに注釈を付け、新しい「フロントガラス付きキャビン」画像を分類するためにモデル全体を再トレーニングする必要があります。しかし、クライアントごとに手作業でデータセットを作成し、注釈を付ける作業は面倒です。そこでFLが重要な役割を果たし、生の画像データを共有することなく、両方のクライアントの物体を正確に検出できる最終的なグローバルモデルの開発が可能になります。
「方法」で述べたように、仮定とハイパーパラメータを考慮し、ローカル学習が完了すると、各クライアントが達成したモデル重みは中立サーバに送信されます。全クライアントからモデル重みを受け取ったサーバは、連合平均を行い、更新されたグローバル重みを各クライアントに送り返します。このプロセスを1コミュニケーションラウンド（CR）と呼びます。複数回のCRを通して、グローバルモデルは徐々に改善され、両方のクライアントのテストデータセットでより高い性能を発揮します。この特定のユースケースでは、各クライアントはサーバから受け取ったグローバルモデルをローカルのテストデータセットで実行し、グローバルモデルの精度に関するフィードバックを提供し、それに応じて新しいローカル重みを送信します。全クライアントのテストデータセットの平均精度が停止パラメータとなります。サーバーがすべてのクライアントのローカルテストデータセット上で以前のグローバルモデルの精度を受信し、平均精度が96%以上であることを計算すると、以前のグローバル重みが最終的なグローバル連携モデルとしてクライアントに送信されます。この特定のユースケースでは、グローバルモデルは 10 CR、15 ローカルエポックの後に達成されました。同様のテストデータセットに対するこのモデルの出力は、オブジェクトの周りに非常に正確なバウンディングボックスを持つ、非常に高い精度を実証しました。図6は類似画像に対するグローバル連合モデルの出力を示しています。予測値の信頼スコアが非常に高く、バウンディングボックスがフロントガラスを正確に網羅していることが観察できます。誤検出はなく、モデル出力は不鮮明な画像に対しても頑健性を示します。同様の設定がUSB品質検査データセット（図3）にも使用され、最終的なグローバルモデルは様々なエラーを正しく分類し、特定のUSBスティックの周囲に正確にバウンディングボックスを描くことができました。グローバルな連合USBスティック・モデルは、クライアント1のステッカー・エラーをクライアント2のUSBスティックに適用するなど、データセットでは見られなかった組み合わせさえ検出することができました。これは、連合画像分類設定に焦点を当てた論文[7]で提示された結果と一致します。
| 図6. ローカルデータセット、client1(左上)とclient2(左下)で学習したモデルの出力と、未見のフロントガラスタイプのデータセットに対するグローバル連合YOLOv5モデル(右列)の出力。 |
実験
本稿では、主に機内品質検査のユースケースに焦点を当て、このシナリオに基づいて実験を行います。USB連携ODモデルの結果の概要を図8に示しますが、特に機内品質検査ドメインにおけるさまざまなモデルの性能評価に集中します。実験を通して、クライアント1のローカルに訓練されたモデルを "Blue cabin model"、クライアント2のモデルを "Red cabin model"、そしてグローバルな連合モデルを "FedOD "と呼びます。
1）新しいキャビンと風防の組み合わせをテストデータセットとして、ブルーキャビンモデル、レッドキャビンモデル、FedODモデルをテスト。
2) 様々なキャビンとフロントガラスの組み合わせで、3つのモデルのライブオブジェクト検出の評価。
3) 製造工程の品質検査モジュールから得られた画像に対する3つのモデルのテスト。
最初の実験では、テストデータセットは、フロントガラスがタイプCとDの青いキャビンと、フロントガラスがタイプAとBの赤いキャビンで構成されます。目的は、これらの未知の組み合わせに対するモデルの性能を評価することです。２つ目の実験では、3つのモデル（ブルーキャビン、レッドキャビン、FedOD）を同時に実行し、異なるキャビンとフロントガラスの組み合わせを持つフレーム内のオブジェクトを検出します。この実験の目的は、複数のキャビンを持つフレームを含む様々なシナリオにおけるモデルの出力を比較することです。最後に、3つ目の実験では、SmartFactory-Kaiserslautern（SF-KL）にある品質検査モジュールからの画像をモデルの入力として使用します。これらの画像の背景や照明条件はトレーニングデータセットとは大きく異なるため、評価プロセスに新たなレベルの複雑さが加わることに注意することが重要です。
インダストリー4.0共有生産アーキテクチャとの統合
Gaia-X プラットフォーム上で、著者らの品質検査 AI ソフトウェアサービスを様々な企業に提供する方法を模索し、一つの可能な解決策を示します。そのため、公開された Gaia-X データ空間における生産サービスの提供を指向しました。この場合、サービスの潜在的な利用者は、自分のデータセットでサービスをダウンロードし、自分の生産ラインで利用することができます。Gaia-Xで品質検査サービスを提供するために、品質検査サービス（その特徴、特性、性質、能力）をAASのサブモデルに記述しました。現在、AIサービスの能力を記述するために利用可能な標準的なサブモデルテンプレートはありません。Gaia-X コネクタの助けを借りて、関連するデータ空間に接続し、ソフトウェアサービスの AAS ベースの記述を提供することができます。つまり、Gaia-Xサービスカタログで見つけることができ、サービスプロバイダはマーケットプレイスを通じてソフトウェアサービスを提供することができます（図7）。
| 図7. ソフトウェア・サービスのためのインダストリー4.0データ空間 |
顧客がデータスペースに接続すると、マーケットプレイスで利用可能なソフトウェアサービスを閲覧し、要件に合致するものを選択し、（Dockerコンテナとして）ダウンロードして生産ラインで使用することができます。この操作はすべて、AASを介して利用可能なサービスの一般化された記述の助けを借りて実行されます。顧客はサービスをダウンロードするか、サービスがすでに顧客側で実行されている場合は、グローバル連携モデルからモデルの重みを更新するだけです。品質検査サービスはFLアルゴリズムに基づいているため、顧客は自分のローカルデータセットで追加ラウンドのトレーニングを通じてモデルの品質を向上させることで、サービスに貢献する機会もあります。しかし、ここでの主な課題は、すべての顧客が同様のデータクラスとユースケースを持っていることを確認することです。各FLモデルは特定のユースケースのために訓練され、可能なユースケースを正確に記述することは、マーケットプレイスで製品を提供するために必要です。異なるクライアントからのクラスラベルの自動割り当てを試みるなど、いくつかの予防措置を講じることは可能ですが[24]、しかし、協力を保証するためには信頼できる環境が整っている必要があります。
結果と議論
このセクションでは、連合 USB 品質検査の結果と、サブセクション III-C で詳細キャビン品質検査のユースケースで実施した実験の結果を示します。異なるモデルの性能を比較するために3つの主要な実験に焦点を当てます：ブルーキャビンモデル、レッドキャビンモデル、そしてグローバル連合ODモデル（FedOD）です。すなわち、グローバル連合モデルは5CRに対して15ローカルエポックで達成され、続いてclient1、client2、client3モデルはそれぞれのローカルデータセットに基づいて150エポックで学習されました。グローバルODモデルは、すべてのクライアントのエラーを予測できるだけでなく、client1のUSBメモリ上のclient3のエラー（錆）も検出できることがわかります。
| 図8. 連携グローバルモデルとローカルデータセットで学習したモデルのライブ比較 |
最初の実験では、フロントガラスの組み合わせが異なる青と赤のキャビンを含むテストデータセットでこれらのモデルを評価しました。その結果、青いキャビンのモデルは赤いキャビンとフロントガラスを正確に分類・検出することができませんでした。同様に、レッドキャビンモデルはブルーキャビンやフロントガラスを検出するのに苦労し、これらの画像に対して誤ったバウンディングボックスを生成しました。対照的に、FedODモデルはすべての異なるキャビンとフロントガラスの組み合わせを検出することに成功し、ほとんどのテスト画像に対して非常に正確なバウンディングボックスを生成し、優れた性能を示しました。この実験の詳細な結果は表Iにあります。表Iは、0.50から0.95の範囲の異なるIoUしきい値に対する平均精度（AP）値と、0.5のIoUしきい値における平均平均精度（mAP）を示しています。FedODモデルはAP[.50:.05:.95]の0.93とmAPの1.0を達成し、幅広いIoUしきい値にわたってそのロバストな性能を示しました。ブルーキャビンとレッドキャビンモデルの精度をさらに調査するために、各モデルを対応するキャビンとフロントガラスの色の組み合わせに特化してテストする2番目の実験を行いました。さらに、FedODモデルを両方の組み合わせでテストし、直接比較できるようにしました。この実験の結果を表IIに示します。表IIのmAPとAP[.50:.05:.95]の値は、FedODモデルが精度の点でローカルモデルを上回ったことを示しています。それは一貫してより高いmAPとAPスコアを達成し、グローバルな連合ODモデルが、未知の組み合わせタイプに直面したときでも、正確なバウンディングボックスを予測することに優れていることを示唆しています。これらの結果は、キャビン品質検査のユースケースにおけるFedODモデルの有効性を浮き彫りにしています。FedODモデルの優れた性能は、協調的物体検出シナリオにおけるFLの利点を示す強力な証拠となります。
|
表 I 未知のテストデータセットにおけるブルーキャビン、レッドキャビン、フェドッドモデルのマップメトリクスの比較（ap=平均精度、apm=中サイズのオブジェクトのap、apl=大サイズのオブジェクトのap、ar=平均リコール）。 |
|
表II 集中学習されたyolov5モデル（client1とclient2）は、ローカルデータセットで学習され、fedodモデルは学習データセットに存在しない風防の組み合わせでテストされます。 |
２つ目の実験では、3つのモデル（ブルーキャビンモデル、レッドキャビンモデル、FedOD）をライブビデオストリーム上で同時に並行して実行するカスタムコードを開発しました。このセットアップにより、各モデルの出力を直接比較し、目に見える違いを観察することができました。図9と図10に示されているように、1つのフレーム内で複数のキャビンの組み合わせがテストされました。各図は3つのウィンドウで構成されています。左上のウィンドウは FedOD モデルの出力を表示し、グローバル連合 OD モデルを表します。右上のウィンドウは、クライアント1のローカルデータセットを使ってトレーニングされたブルーキャビンモデルの出力を示し、左下のウィンドウは、クライアント2のローカルデータセットを使ってトレーニングされたレッドキャビンモデルの出力を示します。図9と図10は同じパターンのウィンドウで、出力されるラベルをそれぞれ「フロントガラスなしのキャビン」と「フロントガラスありのキャビン」を表す0と1に変更し、異なるバウンディングボックスにわたるモデルの出力の明確な視覚的比較を提供します。
| 図9. 連合グローバルモデルとローカルデータで学習させたモデルのライブ物体検出による比較 |
| 図10. 連合グローバルモデルとローカルデータで学習したモデルとのライブ物体検出による比較 |
図9では、フレームにはトレーニングデータセットで利用可能な組み合わせで4つのキャビンが含まれています。FedODモデルは、各クライアントの組み合わせに対して高い信頼性で4つのキャビン全てを正確に検出し、優れた性能を示します。どちらのモデルも自分のデザインタイプだけを正しく識別しており、表Ⅰのこれらのモデルの性能の低さを証明しています。図10に移って、クライアント2からの赤いデザインのキャビンとクライアント1からのフロントガラスタイプAがテストされました。結果は驚くべきもので、赤いキャビンのモデルは高い信頼性スコアでオブジェクトの分類に成功しましたが、描画されたバウンディングボックスは不正確で、フロントガラスの一部を切り取っています。一方、ブルーキャビンモデルは、この特定の物体を完全に検出できませんでした。図10は、前のテストケースの逆のシナリオも示しています。ここでは、クライアント2のフロントガラスがタイプCの青いキャビンがテストされました。青いキャビンのモデルはオブジェクトを正しく分類しますが、前のシナリオと同様に、正確なバウンディングボックスを生成するのに苦労します。レッドキャビンモデルの出力は興味深いものです：フロントガラスタイプCがそのトレーニングデータセットの一部であったため、それはオブジェクトを'フロントガラス付きキャビン'として分類するようです。対照的に、FedODモデルは両方のオブジェクトを正確に分類するだけでなく、これらの未知の組み合わせのタイプに正確なバウンディングボックスを描きます。
第3の実験では、サブセクションIII-Cで説明するように、SF-KLの品質検査モジュールにあるデモンストレーターから得られた画像に対して同じモデルをテストしました。図11、12、13は、これらのテストから得られた結果を示しています。この環境で撮影された画像は、トレーニングデータセットで使用された画像と比較して、背景や照明条件が大きく異なることは注目に値します。3つの図すべてで同じ画像セットを一貫して使用することで、各モデルが生成した出力を直接比較することができます。図11では、ブルーキャビンモデルの出力は、「フロントガラスのないキャビン」のインスタンスを正しく分類できないことがわかります。さらに、このモデルはトレーラーや、オブジェクトが存在しないフレームでさえも、多数の偽陽性を予測します。同様に、図12は赤のキャビンモデルのパフォーマンスを示しており、これも品質検査モジュールからの画像で物体を正確に検出するのに苦労しています。このモデルは、特にトレーラーと物体のないフレームで、誤分類と偽陽性を示します。同じテスト画像に対して、我々のグローバル連合ODモデルから得られた結果は実に驚くべきものです。FLとODのパワーを組み合わせた強化されたアルゴリズムは、以前の個々のクライアントモデルと比較して、精度と精度の大幅な改善を示しました。図13はテスト画像上でのFedODモデルの出力を示しています。この図から、顕著な精度と信頼スコアでバウンディングボックスを予測するFedODモデルの卓越した性能がわかります。注目すべきは、異なるタイプのトレーラーの検出や、背景だけでオブジェクトを含まないフレームに直面した時、モデルは偽陽性を示しませんでした。これらの知見は、特に、多様で以前に見たことのない環境における同一のオブジェクトの検出や、学習モデルでは見たことのない様々なオブジェクトの組み合わせの検出において、我々の連合ODモデルの多用途性と汎用性の説得力のある証拠を提供します。
| 図11. 実証機の品質検査画像に対してブルーキャビンデータセットのみで学習したモデル（ブルーキャビンモデル）の出力。 |
| 図12. 実証機の品質検査画像に対して、赤キャビンデータセットのみで学習したモデル（赤キャビンモデル）の出力 |
| 図13. 実証機の品質検査画像に対するグローバル連携モデル（FedODモデル）の出力 |
私たちの今後の作業では、Industrial Digital Twin Association [22]が間もなく発表するAIサービス機能記述のための標準AASサブモデルの実装に焦点を当てます。一般的なユースケースでは、ベンダーに依存しない、ソフトウェア機能を記述する方法の標準的な方法が必要です。正確な記述は、各パートナーがグローバルモデル作成に参加できるようにするための連合学習アプローチにとって本当に重要です。前述したように、本研究ではGoogle AIモデルカードを参考文献として使用しました[23]。加えて、Gaia-Xマーケットプレイスから複数の顧客に同時アクセスとサービスのダウンロードを提供するために、Gaia-Xデータスペースコネクタの更新版も実装する予定です[25]。
結論
この論文では、共有された生産環境で使用される品質検査のためのグローバルな連携ODモデル（FedOD）の有効性に関する包括的な調査を発表しました。FLとオブジェクト検出のパワーを組み合わせることで、個々のクライアントモデルと比較して、精度と精度の大幅な改善を達成しました。私たちの実験結果は、複数のシナリオにわたってFedODモデルの顕著な性能を示しました。FedODモデルは、すべての組み合わせを正確に検出し、高精度のバウンディングボックスを生成することで、ローカルモデルを凌駕しました。達成された平均精度(AP)と平均精度(mAP)のスコアは、さらに複数の未知のテストデータの組み合わせに対するモデルの頑健性を実証しました。さらに、ライブ・ビデオ・ストリームに対する3つのモデルの同時評価により、貴重な洞察が得られました。FedODモデルは、異なるキャビンとフロントガラスの組み合わせが存在する場合でも、物体の検出において一貫して優れた性能を示しました。さらに、品質検査モジュールのデモンストレーターから得られた画像での実験では、FedODモデルの多用途性が検証されました。トレーニング・データセットと比較して背景や照明条件が大きく異なるにもかかわらず、このモデルは物体を正しく分類し、正確なバウンディング・ボックスを生成する優れた性能を示しました。正確な検出に課題があり、偽陽性を発生させたブルーキャビンとレッドキャビンモデルを大幅に上回りました。これらの結果は、データのプライバシーを維持しながら、未知の環境におけるキャビンとフロントガラスの組み合わせを検出するFedODモデルの有効性と汎用性を強調しています。FedODモデルの優れた性能と汎用性は、特にヘルスケア、自律走行、自動車製造、品質管理などの産業における実世界のアプリケーションに有望な示唆を与えます。結論として、私たちの研究は、このような多くのカスタムユースケースに対するグローバル連合ODモデルの驚くべき可能性を実証しています。FLと物体検出の組み合わせは、精度と正確性を高めるだけでなく、未知の物体の組み合わせや多様な環境の検出を可能にします。本研究は、協調学習アプローチの進歩に貢献し、様々な産業におけるより効率的で効果的な品質検査システムへの道を開きます。
One of the authors：Mr. Vinit Hegiste
Machine learning engineer and PhD. student at RPTU Kaiserslautern -Landau.
この記事に関するカテゴリー
