基于联盟学习的综合物体检测，既能利用分布式数据，又能保护隐私。
三个要点
✔️ 将联合学习应用于质量检测任务，在保护隐私的同时利用分布式数据
✔️ 使用 YOLOv5 作为对象检测算法，并使用联合平均作为 FL 算法
✔️ 与使用非分布式数据集的模型进行比较、实现了更好的泛化性能
Federated Object Detection for Quality Inspection in Shared Production
written by Vinit Hegiste, Tatjana Legler, Martin Ruskowski
[Submitted on 30 Jun 2023 (v1), last revised 25 Aug 2023 (this version, v2)]
Comments: Will submit it to an IEEE conference
Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述
联邦学习（FL：federated learning）已成为在不损害数据隐私的情况下在分散数据上学习机器学习模型的一种有前途的方法；它是由谷歌公司于 2017 年提出的。在本文中，我们提出了一种用于质量检测任务中物体检测的 FL 算法，使用 YOLOv5 作为物体检测算法，使用联合平均（FedAvg）作为 FL 算法。这种方法被应用于一个制造业案例。在该用例中，多个工厂/客户提供数据用于训练全局对象检测模型，同时维护非 IID 数据集上的数据隐私。实验证明，与在本地客户数据集上训练的模型相比，FL 方法在整个客户测试数据集上实现了更好的泛化性能，并生成了更好的物体边界框。这项研究证明了 FL 在制造业质量检测任务中的潜力，并为利用 YOLOv5 和 FedAvg 进行联合对象检测的性能和可行性提供了宝贵的见解。
介绍
物体检测（OD）是深度学习中最常见、最有用的任务之一。介绍性说明从略。在协作学习场景中，多个客户/利益相关者在不共享个人数据的情况下对机器学习模型进行协作，联盟机器学习为解决隐私问题提供了可能性。因此，使用水平 FL 进行对象检测有助于全局模型从属于同一类别的不同客户那里获得各种样本。与本地训练的模型相比，这使得最终的全局联合模型更加稳健。
在作者之前的研究中，FL 被应用于制造质量检测中的图像分类任务，结果表明，这种方法在保护数据隐私的同时，还能达到与集中学习相当的性能。在某些情况下，全局模型对数据集特征空间的泛化能力甚至优于使用集中学习训练的模型。本文将 YOLOv5 作为对象检测算法，并将联合平均值作为 FL 算法，对之前的工作进行了扩展，提出了一种用于质量检测任务中对象检测的 FL 算法。物体检测是质量检测中的一项重要任务，检测图像中的缺陷并使其不扩散是保证产品质量的关键。训练它。作者的实验证明了这种方法在制造业质量检测任务中的可行性和有效性。此外，他们还强调了如何将基于 FL 的质量检测服务集成到基于技能生产的第 4 级共享生产生态系统中。为了支持共享生产的要求，作者开发了一种质量检测服务，作为市场上的软件即服务。这意味着质量检测服务必须具备自我描述能力。为了实现互操作性并向市场提供软件，作者使用资产管理外壳（AAS）以子模型的形式描述软件服务。
相关研究
OD（物体检测）的输出结果还可用于多种应用，如在固定环境中定位物体、物体计数、物体分割、故障检测和分类。这些功能在质量检测行业非常有用，因为多个客户在类似的产品/用例上进行合作，以训练一个能够检测所有类型错误/故障的全局模型。联盟对象检测（Coalitional Object Detection，Coalitional OD）在这种情况下非常有用，全局联盟模型可以检测出属于特定类别的所有交通标志样本。在这一领域发表的论文很少，而且没有一篇论文将算法应用于特定的自定义用例；Luo 等人试图通过将算法引入真实数据集来解决这一问题，但这一应用并不是对城市中常见物体的一般对象泛化。该论文仅关注监控摄像头的图像，用于一般物体检测，并未解决具体的使用案例，也未深入分析全局模型的准确性以及与本地客户端模型的比较。该论文还使用了 YOLOv3，其性能轻松超过了目前最先进的 YOLOv5；其余使用 FL 与 YOLOv5 算法的论文中，Bommel 等人在协作 OD 中引入了主动学习，以解决无标签数据问题。Zhang等人介绍了基于区块链的视觉物体检测联合学习系统FedVisionBC，以解决FL的隐私挑战；FedCV侧重于创建一个框架，以实现联合OD过程的自动化。尽管该资源库仍在建设之中，而且论文展示了一个基本公共数据集模型，但要将其用于自定义用例并不那么容易Su 等人使用以 ResNet50 为骨干的 RetinaNet 作为检测算法作者使用以 ResNet50 为骨干的 RetinaNet 作为检测算法。作者的论文沿用了使用 FedAvg 的联合 OD 的类似算法，并尝试探索联合 OD 在共享生产场景中使用非 IID（独立相同分布）数据集进行质量检测的有用性，并使用了不同的用例。
资产管理外壳（AAS）的概念是工业 4.0背景下数字孪生的一种实现方式。作为资产或服务的数字化代表，AAS 由各种子模型组成，涵盖了资产或服务的所有相关信息和功能。这包括它们的特征、特性、属性和能力；AAS 可通过各种渠道和应用促进通信，是物理对象与互联、数字和分布式世界之间的重要纽带。AAS 最初用于创建实物资产的数字表示，现在也可以容纳软件模块。它的集成是将生产模块集成到新生产架构中的基本前提：到 2025 年，灵活的生产网络将通过采用Gaia-X 数字平台实现无缝运行。要在未来将机器和服务等资产整合到欧洲数据平台 Gaia-X，必须满足一定的技术标准，包括安全和技能描述方面的考虑。这些相关信息封装在 AAS 中，以确保合规性，并使资产能够有效参与 Gaia-X 生态系统。
技术
通过以 YOLOv5 算法使用的 YOLO 格式对之前的数据集进行注释，扩展了制造业中 U 盘质量检测的用例。为了进一步扩展算法的易用性，我们引入了一个新的用例，如图 1 所示，两个公司/客户分别生产一个机舱和一个挡风玻璃。这里的质量检测用例是检测机舱是否带有挡风玻璃。
| 图 1：带挡风玻璃的舱室（四种类型）和不带挡风玻璃的舱室示例。 |
本文采用的 FL 算法是FedAvg。使用中立服务器对所有客户端的模型权重进行联合平均。本文做了一些假设，如所有客户端都积极参与每一轮通信以及共享模型权重的可靠性。在开始训练过程之前，所有客户端都要就超参数达成一致，如标准化标签命名、YOLO 模型结构、本地历时、优化器和批量大小。然后启动相应的本地训练程序。
数据集
本节介绍 USB 和机舱质量检查的用例：从 USB 质量检查开始，有三个客户端，每个客户端有三个类别："OK"、"Not Okay "和 "Hidden"。数据集为非独立同分布（non-IID），每个类别和数据集的分布如图 2 所示。客户 1 使用华为 U 盘，客户 2 使用蓝色砖块式 U 盘，客户 3 使用红色砖块式 U 盘。每个客户端由三个类别组成，每个客户端的 "不正常 "类别都有不同的错误类型。如图 3 所示，客户 1 的 USB 错误有一个小贴纸标记，表明 USB 端口损坏，客户 2 的 USB 错误有一个损坏的 USB 端口，客户 3 的错误有一个生锈的 USB 端口。与论文中展示联合图像分类在定制质量检测中取得成功的用例类似，论文还表明，联合 OD 算法可以学习全局联合模型可以学习的所有不同类型的 USB 错误，更重要的是，它可以得出一个完整的我们的目标是看看能否在可以绘制边界框的情况下取得同样的结果�
| 图 2：客户 1（左：华为）、客户 2（中：顺丰蓝色）和客户 3（右：顺丰红色）的训练数据集分布和标签实例 |
| 图 3 USB 质量检测数据集的一个小子集示例，客户 1（左侧为华为）、客户 2（中间为 SF 蓝色）和客户 3（右侧为 SF 红色） |
第二个用例涉及两家公司/客户，分别生产带挡风玻璃和不带挡风玻璃的车厢。主要用例是创建对象检测模型，对给定视频或图像中的对象进行分类和正确检测。客户 1 只生产蓝色驾驶室和蓝色挡风玻璃（类型 A 和 B），而客户 2 则生产红色驾驶室（与蓝色驾驶室的设计略有不同）和挡风玻璃（类型 C 和 D）（见图 5）。每个客户的训练数据集的类实例见图 4。每个客户共有约 600 张图像，其中验证和测试各占 15%。数据集是在三种不同的背景下创建的，驾驶室放置在底盘上（只有驾驶室有注释）。通过创建自定义数据集，还引入了各种参数，如不同的照明条件、阴影和模糊图像。
| 图 4. 客户 1（左：蓝色机舱）和客户 2（右：红色机舱）的训练数据集分布和标签实例 |
| 图 5：机上质量检查数据集的小型子集，客户 1（左侧为蓝色机上），客户 2（右侧为红色机上） |
安装
如上所述，有两个客户从事不同设计和类型的车厢和挡风玻璃的制造。他们的本地质量测试模型使用各自的本地数据集（见图 5）来训练 YOLOv5 模型，以检测给定车架中是否存在挡风玻璃。两个客户的模型在各自的本地测试数据集上都达到了 95% 以上的准确率。客户 1 的模型在无挡风玻璃的蓝色车厢和装有 A 型和 B 型挡风玻璃的车厢上进行了评估，而客户 2 的模型则在无挡风玻璃的车厢和装有 C 型和 D 型挡风玻璃的车厢上进行了测试。这意味着客户 1 将在现有生产基础上生产装有 C 型和 D 型挡风玻璃的客舱，而客户 2 将生产装有 A 型和 B 型挡风玻璃的客舱。基于各客户旧数据集的本地训练模型在新的驾驶室和挡风玻璃组合中进行了测试。然而，测试结果表明，虽然本地模型能正确地将图像分类为 "无挡风玻璃的车厢 "或 "有挡风玻璃的车厢"，但生成的边界框并不准确，在某些情况下，挡风玻璃的部分会被截断。如图 6 左下角所示，在某些情况下会检测到误报，并分配置信度较低的标签。虽然每个客户端都可以共享数据集，并训练一个集中式 YOLOv5 模型进行质量检查，但出于个人和竞争原因，本地原始图像数据无法共享。因此，两个客户都需要为新的组合创建新的附加数据、注释数据集并重新训练整个模型，以便对新的 "带挡风玻璃的车厢 "图像进行分类。然而，为每个客户手动创建和注释数据集是非常繁琐的。这正是 FL 发挥重要作用的地方，它允许开发一个最终的全局模型，无需共享原始图像数据就能为两个客户准确检测物体。
如 "方法 "中所述，本地学习完成后，考虑到假设和超参数，每个客户端获得的模型权重将被发送到中立的服务器。服务器收到所有客户端的模型权重后，会进行联盟平均，并将更新后的全局权重发回给每个客户端。这一过程称为一轮通信（CR）。通过多轮通信，全局模型逐步得到改进，并在两个客户端的测试数据集上表现得更好。在这个特殊的使用案例中，每个客户端在其本地测试数据集上运行从服务器接收到的全局模型，对全局模型的准确性提供反馈，并相应地发送新的本地权重。所有客户端测试数据集的平均准确率就是停止参数。一旦服务器收到上一个全局模型在所有客户端本地测试数据集上的准确率，并计算出平均准确率高于 96%，就会将上一个全局权重作为最终的全局协调模型发送给客户端。在这个特定的使用案例中，全局模型是在经过 10 次 CR 和 15 次本地历时后实现的。该模型在类似测试数据集上的输出显示出非常高的准确性，物体周围的边界框非常精确。图 6 显示了类似图像的全局关联模型输出结果。可以看出，预测的置信度非常高，边界框准确地覆盖了挡风玻璃。没有误报，而且模型输出对模糊图像也很稳健。USB 质量检测数据集也采用了类似的设置（图 3），最终的全局模型正确地对各种错误进行了分类，并准确地在特定 USB 盘周围画出了边界框。全局联合 USB 盘模型甚至能够检测出数据集中未见的组合，例如将客户 1 的贴纸错误应用到客户 2 的 USB 盘上。这与侧重于联合图像分类设置的论文[7]中的结果一致。
| 图 6：在本地数据集、客户 1（左上）和客户 2（左下）以及全球联盟 YOLOv5 模型（右列）上训练的模型对未见挡风玻璃类型数据集的输出。 |
试验
在本文中，我们主要关注机上质量检查用例，并基于该场景进行实验；USB 联合 OD 模型的结果汇总如图 8 所示，其中特别集中于不同模型在机上质量检查领域的性能评估。在整个实验过程中，针对客户 1 的本地训练模型被称为 "蓝色机舱模型"，针对客户 2 的模型被称为 "红色机舱模型"，而全球联合模型被称为 "FedOD"。
(1) 新机舱和挡风玻璃组合的测试数据集，测试蓝色机舱模型、红色机舱模型和 FedOD 模型。
2) 对具有不同车厢和挡风玻璃组合的三种车型的实时物体检测进行评估。
3) 根据生产过程中质量检测模块获得的图像对三个模型进行测试。
在第一个实验中，测试数据集包括带有 C 和 D 类型挡风玻璃的蓝色机舱和带有 A 和 B 类型挡风玻璃的红色机舱。目的是评估模型对这些未知组合的性能；在第二个实验中，同时运行三个模型（蓝色机舱、红色机舱和 FedOD）来检测不同机舱和挡风玻璃组合的帧中的物体。该实验的目的是比较模型在涉及多个车厢的不同情况下的输出结果。最后，在第三个实验中，来自 SmartFactory-Kaiserslautern (SF-KL) 质量检测模块的图像被用作模型的输入。值得注意的是，这些图像的背景和光照条件与训练数据集截然不同，这为评估过程增加了新的复杂性。
与工业 4.0 共享生产架构集成
一种可能的解决方案是探索如何在 Gaia-X 平台上向不同公司提供作者的质量检测人工智能软件服务。为此，我们面向 Gaia-X 公共数据空间提供生产服务。为了在 Gaia-X 中提供质量检测服务，我们在 AAS 子模型中描述了质量检测服务（其特征、特性、属性和能力）。目前，还没有用于描述人工智能服务能力的标准子模型模板；在 Gaia-X 连接器的帮助下，您可以连接到相关数据空间，并提供基于 AAS 的软件服务描述。这意味着它们可以在 Gaia-X 服务目录中找到，服务提供商可以通过市场提供软件服务（图 7）。
| 图 7 工业 4.0 软件服务数据空间 |
当客户连接到数据空间时，他们可以浏览市场上可用的软件服务，选择符合其要求的服务，下载（作为 Docker 容器）并在生产线上使用。所有这些操作都是通过 AAS 对可用服务的概括描述来完成的。客户只需下载服务，如果服务已在客户方运行，则从全局协调模型中更新模型权重。由于质量检查服务基于 FL 算法，客户也有机会通过在自己的本地数据集上进行多轮训练来提高模型质量，从而为服务做出贡献。不过，这里的主要挑战是确保所有客户都有相似的数据类别和使用案例。每个 FL 模型都是针对特定用例进行训练的，准确描述可能的用例对于在市场上提供产品非常必要。可以采取一些预防措施，如尝试自动分配来自不同客户的类标签[24]，但必须有一个值得信赖的环境来保证合作。
结果和讨论
本节将介绍联合 USB 质量测试的结果，以及在第 III-C 小节详细机舱质量测试用例中进行的实验。为比较不同模型的性能，主要进行了三项实验：蓝色机舱模型、红色机舱模型和全球联盟 OD 模型（FedOD）。全局联盟模型是在 5 个 CR 的 15 个局部历时内完成的，即客户端 1、客户端 2 和客户端 3 模型随后根据各自的局部数据集在 150 个历时内完成训练。可以看出，全局 OD 模型不仅能预测所有客户端的错误，还能检测客户端 1 USB 记忆棒上客户端 3 的错误（锈）。
| 图 8. 联合全球模型与在本地数据集上训练的模型的实时比较 |
在第一次实验中，这些模型在一个测试数据集上进行了评估，该数据集包含蓝色和红色车厢以及不同的挡风玻璃组合。结果显示，蓝色车厢模型无法准确分类和检测红色车厢和挡风玻璃。同样，红色车厢模型也难以检测到蓝色车厢和挡风玻璃，并为这些图像生成了错误的边界框。相比之下，FedOD 模型成功地检测到了所有不同的机舱和挡风玻璃组合，并为大多数测试图像生成了非常准确的边界框，表现出了卓越的性能。本实验的详细结果见表 I。表 I 显示了从 0.50 到 0.95 的不同 IoU 阈值下的平均精度（AP）值，以及 IoU 阈值为 0.5 时的平均精度（mAP）。FedOD 模型在广泛的 IoU 阈值范围内实现了 0.93 的 AP [.50:.05:.95]和 1.0 的 mAP。其稳健的性能表现在为了进一步研究 "蓝色驾驶室 "和 "红色驾驶室 "模型的准确性，我们进行了第二次实验，专门针对相应的驾驶室和挡风玻璃颜色组合对每个模型进行了测试。此外，还对 FedOD 模型进行了两种组合的测试，以便进行直接比较。实验结果见表 II。表 II 中的 mAP 和 AP 值[.50:.05:.95]表明，FedOD 模型的准确性优于本地模型。它持续获得更高的 mAP 和 AP 分数，表明即使面对未知的组合类型，全局 FedOD 模型也能更好地预测准确的边界框。这些结果凸显了 FedOD 模型在机舱质量检测使用案例中的有效性：FedOD 模型的卓越性能为 FL 在协作对象检测场景中的优势提供了有力证据。
|
表 I. 未知测试数据集上蓝舱、红舱和 fedod 模型的地图指标比较（ap=平均精确度，apm=中等大小物体的平均精确度，apl=大型物体的平均精确度，ar=平均召回率）。 |
|
表 II. 经过强化训练的 yolov5 模型（client1 和 client2）在本地数据集上进行训练，而 fedod 模型则在训练数据集中不存在的防风罩组合上进行测试。 |
在第二个实验中，我们开发了自定义代码，在实时视频流中同时并行运行所有三个模型（蓝舱模型、红舱模型和 FedOD）。通过这种设置，我们可以直接比较每个模型的输出，并观察到明显的差异。如图 9 和图 10 所示，我们在单帧中测试了多个机舱组合。每幅图由三个窗口组成。左上角的窗口显示 FedOD 模型的输出，代表全球联盟 OD 模型。右上窗口显示的是使用客户 1 的本地数据集训练的蓝舱模型的输出结果，而左下窗口显示的是使用客户 2 的本地数据集训练的红舱模型的输出结果。图 9 和图 10 显示了相同模式的窗口，输出标签分别变为 0 和 1，代表 "无挡风玻璃的机舱 "和 "有挡风玻璃的机舱"，从而对不同边界框内的模型输出进行了清晰直观的比较。
| 图 9：联合全球模型与根据本地数据训练的实时物体检测模型的比较。 |
| 图 10：联合全球模型与根据本地数据训练的实时物体检测模型之间的比较。 |
在图 9 中，框架包含训练数据集中的四种舱室组合；FedOD 模型表现出色，能以高置信度正确检测出每种客户组合的所有四种舱室。两个模型都只正确识别了自己的设计类型，证明了表 I 中这些模型的性能不佳。在图 10 中，对客户 2 的红色设计机舱和客户 1 的 A 型挡风玻璃进行了测试。结果出人意料：红色机舱模型成功地对物体进行了分类，并获得了较高的可靠性评分，但所绘制的边界框并不准确，而且截断了挡风玻璃的一部分。而蓝色车厢模型则未能完全检测到这一特定物体。图 10 还显示了与上一个测试案例相反的情况。在这里，为客户 2 测试了带有 C 型挡风玻璃的蓝色机舱。蓝色机舱模型正确地对该物体进行了分类，但与前一情况一样，它很难生成准确的边界框。红色机舱模型的输出结果很有意思：它似乎将该对象分类为 "带挡风玻璃的机舱"，因为 C 型挡风玻璃是其训练数据集的一部分。相比之下，FedOD 模型不仅准确地将两个物体分类，还为这些未知的组合类型绘制了准确的边界框。
在第三项实验中，根据从 SF-KL 质量检测模块中的演示器获取的图像对同一模型进行了测试，如第三-C 小节所述。图 11、图 12 和图 13 显示了这些测试的结果。值得注意的是，与训练数据集中使用的图像相比，在这种环境下拍摄的图像在背景和光照条件上有很大不同；在所有三幅图中一致使用相同的图像集，可以直接比较每个模型产生的输出结果。从图 11 中可以看出，"蓝色机舱 "模型的输出无法正确分类 "无挡风玻璃的机舱 "实例。此外，该模型还对拖车甚至是没有物体存在的帧进行了大量误报。同样，图 12 显示了红色车厢模型的性能，该模型也很难准确检测出质量检测模块图像中的物体。该模型会出现分类错误和误报，尤其是在有拖车和无物体的帧上。对于相同的测试图像，我们的全局联合 OD 模型得到的结果确实令人吃惊：与之前的单个客户端模型相比，结合了 FL 和 OD 功能的增强算法在准确度和精确度方面都有显著提高。图 13 显示了 FedOD 模型在测试图像上的输出结果。从图中可以看出，FedOD 模型在预测边界框方面表现出色，准确率和置信度得分都非常高。值得注意的是，面对不同类型的拖车检测或只包含背景而不包含物体的帧，该模型没有出现任何误报。这些发现令人信服地证明了我们的联合 OD 模型的多功能性和通用性，特别是在检测不同的和以前未见过的环境中的相同物体，以及检测训练模型中未见过的各种物体组合时。
| 图 11：仅在蓝色机舱数据集上训练的模型（蓝色机舱模型）对演示飞机质量检测图像的输出结果。 |
| 图 12：仅在红色机舱数据集上训练的模型（红色机舱模型）对演示飞机质量检测图像的输出。 |
| 图 13：演示机器质量检测图像的全局协调模型（FedOD 模型）输出结果 |
我们未来的工作重点是实施工业数字孪生协会即将发布的人工智能服务功能描述标准 AAS 子模型[22]。典型的使用案例需要一种标准的、独立于供应商的软件功能描述方式。准确的描述对于联合学习方法非常重要，它能让每个合作伙伴都参与到全局模型的创建中。如上所述，本研究参考了谷歌人工智能模型卡[23]。此外，还将实施 Gaia-X 数据空间连接器的更新版本，以便从 Gaia-X 市场向多个客户提供同步访问和服务下载[25]。
结论
本文介绍了对共享生产环境中使用的全局联合 OD 模型（FedOD）进行质量检测的有效性进行的全面调查，该模型结合了 FL 和对象检测的强大功能，与单个客户端模型相比，在准确度和精确度方面取得了显著提高与单个客户端模型相比，我们在准确度和精确度方面取得了显著提高。我们的实验结果表明，FedOD 模型在多个场景中都表现出色：FedOD 模型准确检测到所有组合，并生成高精度的边界框，其表现优于本地模型。获得的平均精度（AP）和平均准确度（mAP）分数进一步证明了该模型对多种未知测试数据组合的鲁棒性。此外，在实时视频流中对三种模型进行的同步评估提供了宝贵的见解：即使存在不同的车厢和挡风玻璃组合，FedOD 模型在物体检测方面也始终表现出色。此外，对质量检测模块演示器获得的图像进行的实验也验证了 FedOD 模型的多功能性。尽管与训练数据集相比，背景和照明条件有很大不同，但该模型在正确分类物体和生成精确边界框方面表现出色。它的表现明显优于蓝色机舱和红色机舱模型，后者在准确检测和生成误报方面面临挑战。这些结果凸显了 FedOD 模型在未知环境中检测机舱和挡风玻璃组合的有效性和多功能性，同时还能维护数据隐私。它为工业领域的实际应用提供了广阔的前景。总之，我们的研究证明了全局联合 OD 模型在许多此类定制用例中的显著潜力：FL 与物体检测的结合不仅提高了准确性和精确度，还实现了对未知物体组合和多样化环境的检测。这项研究为协作学习方法的发展做出了贡献，并为各行各业更高效、更有效的质量检测系统铺平了道路。
One of the authors：Mr. Vinit Hegiste
Machine learning engineer and PhD. student at RPTU Kaiserslautern -Landau.
与本文相关的类别
