为联合学习提出的稳健加权策略

联邦学习 29/04/2024

三个要点
✔️ 这项研究是关于改进联合学习的加权方法。考虑到统计异质性和噪声数据的影响，每个局部模型的泛化性能的上下限被用于加权。
✔️ 基于方差和偏差权衡的泛化性能分解。
✔️ 实验结果表明，建议的加权策略提高了联合学习算法的性能和鲁棒性。

Aggregation Weighting of Federated Learning via Generalization Bound Estimation
written by Mingwei Xu, Xiaofeng Cao, Ivor W.Tsang, James T.Kwok
(Submitted on 10 Nov 2023)
Comments: Accepted on arXiv.
Subjects: Machine Learning (cs.LG)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

概述

在联合学习（FL）中，从客户端收集到的模型参数通常会根据每个客户端的样本数量进行加权和汇总。然而，这种简单的加权方法可能会导致模型在客户端数据存在统计偏差或噪声的情况下表现不佳或不公平。理论研究表明，在分布发生变化时，模型的泛化性能存在上限。这就提出了对联盟学习中的加权方法进行审查的必要性。

在本研究中，我们建议用一种考虑到每个客户模型泛化性能范围的新策略来取代传统的加权方法。具体来说，在每一轮通信中，都要估算当前客户模型分布变化的二阶矩的上下限，并将范围之差作为加权的总比率。实验结果证实，在基准数据集上，所提出的方法显著提高了典型 FL 算法的性能。

这项研究为如何在联盟学习中对模型聚合进行加权提供了一个新的视角。通过考虑客户之间的数据偏差，有望构建出更稳健、更无偏见的模型。未来，使用各种真实世界数据来测试所提方法的有效性将非常重要。

介绍

数据安全和隐私保护是数据挖掘和机器学习领域的重要课题。这就是被称为 "联合学习"（FL）的分布式机器学习框架的重点所在：在联合学习框架中，多个客户端合作训练模型，但无需直接共享数据。客户端和服务器之间只进行参数通信。近年来，FL 已被应用于物联网、计算机视觉、自动驾驶和医疗等多个领域。

然而，FL 的一个主要挑战是客户数据的统计偏差。这意味着每个客户端持有的数据分布不同，存在噪声和不平衡。因此，局部和全局损失函数的优化方向可能会错位，这可能会大大降低模型的性能并阻碍收敛。要解决这个问题，可能需要增加通信量。

针对 FL 中的统计偏差问题，已有许多研究。主要目的是减少模型偏差，使局部更新不会明显偏离全局模型。例如，FedProx 在损失函数中添加了正则化项，SCAFFOLD 引入了全局和局部控制变量以减少发散性，而 FedDyn 则采用了不同的方法，为每个客户端添加了动态正则化项。

在这些研究中，通常的做法是在服务器汇总客户端模型参数时，根据每个客户端的样本数量对其进行加权。然而，这种简单的加权方法可能会导致不公平的结果，并由于客户端之间的统计偏差而丧失稳健性。这说明有必要对 FL 中的加权方法进行审查。

在机器学习领域，众所周知，加权是处理噪声或不平衡数据时一种有效而稳健的学习技术。例如，为噪声数据分配大权重，为噪声数据分配小权重，可以减少阻碍模型学习的数据的影响。对于不平衡数据，也可以通过为一小类数据分配大权重来减少学习偏差。

然而，传统的加权方法可能无法充分解决 FL 中同时存在的噪声和不平衡问题，因此需要更复杂的加权策略来处理 FL 中复杂的统计偏差。未来有望研究出考虑到 FL 特性的新的加权方法。

用心

在分布稳健性分析中，移位异质数据分布的泛化性能是有边界的，可以控制与模型无关的训练模型的最坏情况性能。具体来说，这种泛化约束与偏移分布的程度呈正相关。换句话说，分布越异质，就越难准确估计泛化性能。

基于这些见解，作者提出了一种用于联合学习中参数聚合的新型加权策略，利用了移动异构分布的边界错配。边界错配估计从理论上反映了客户数据分布中的训练难度。边界差异越小，训练性能越稳定。

在这种情况下，客户端的偏移分布会表现出明显的异质性，由于它们与服务器的泛化差异较大，因此应分配给它们较小的权重。通过考虑边界不匹配，作者提出的加权策略旨在提高联合学习中参数聚合的稳健性和公平性。

从理论上讲，主要原点矩和次要原点矩分别是鲁棒性损失函数不同形式的预期值，其主要区别在于，当损失值低于 1 时，次要原点矩比主要原点矩更平缓，而当损失值高于 1 时，次要原点矩的凸度更大。在锐化最小化（Sarpness-Aware Minimisation，SAM）中，平坦的最小值比尖锐的最小值更受青睐。这是因为平坦的最小值往往更稳定；FL 中的稳健加权使用二次原点矩收敛到平坦的最小值。

因此，在估计广义边界的过程中，我们使用二次原点矩来估计广义边界。贡献。在本文中，我们不再依赖基于样本比例的加权，而是引入了一种基于局部模型广义边界估计的加权方案。具体来说，我们利用上述二次原点矩的卓越平坦性和凸性来唯一估计广义边界。通过计算边界失配，在每一轮通信中动态调整总体权重，使客户更公平地参与训练过程。边界差异较小的客户端会被赋予较高的总体权重，这表明一致性更高。

这项工作的主要贡献包括

1) 分布稳健性视角：作者从分布稳健性的角度重新审视了联合学习中的总体加权方法，从而对本地模型偏移分布的泛化性能进行了约束。

2) 新的理论见解：从理论上讲，它利用了损失函数的二次原点矩，与一次原点矩相比，二次原点矩显示了更好的泛化性能，并避免了在尖锐值时总体权重趋近于零。具体来说，我们为数据分布变化下的泛化性能指标设定了上限和下限。这里使用的是损失的二次矩。就偏差-方差权衡分析而言，二次矩近似于偏差和方差的平方和。

3) 强大的聚合加权：作者提出了一种新方法来解决联合学习中传统样本比率加权固有的不公平问题。作者的策略实施了一种边界差异加权方案，在存在统计异质性的情况下估计泛化边界并提高聚合效率。作者使用 FedAvg、FedProx、SCAFFOLD 和 FedDyn 等流行的联合学习算法对其方法进行了广泛评估。实验结果表明，作者提出的方法有了明显改善。

背景知识

偏差与分散之间的权衡

在机器学习中，训练模型的预期成本分为三个非负部分：固有目标噪声、偏差平方和方差。偏差和方差之间的权衡是一种有用的统计工具，可用于了解训练模型预测的泛化程度。最佳的权衡可以产生更准确的模型，避免过度训练和训练不足。训练数据集 D 由独立且同分布的样本组成，这些样本来自分布 P(X,Y)。其中，x 代表测试样本，y 代表真实标签。_hD(x) 代表机器学习算法在数据集 D 中训练出的假设，h(x) 是输入 x 的预期标签。预期模型假设为

预期测试误差如下

偏差-分散分解的表示方法如下。偏差-分散分解如下：

偏置-分散分解的推导过程见附录 A。在实际应用中，噪声项通常难以检测，因此被视为常数。因此，本文将预期测试误差近似计算如下：

下一个

如果l(Z) = hD(x) - y，则上述方程 (3) 可写成

根据大数定律，如果 N 足够大，，偏差约为 E[l(Z)]。为简单起见，预期测试误差可重写为

等式 (5) 也符合统计学中的方差公式 V[x] = E[x2] - E2[x]。但需要注意的是，这个等式同时包含偏差和方差。

分布的稳健性分析

分布稳健性 分布稳健性优化是一种通过对最坏情况分布进行优化来提高模型稳健性的技术。在这种方法中，输入的 x∈X 和输出的 y∈Y 都是从联合数据分布 P(X, Y) 中考虑的，其中 h : X → Y 是机器学习模型。给定损失函数 L : Y × Y → R+ ，目标是最小化下式：

其中，UP ⊆ P(X, Y) 表示不确定性概率分布集。通过解决这个优化问题，可以获得具有足够鲁棒性的模型参数。在分布鲁棒性框架中，Werber 等人研究了数据分布差异导致的无知模型之间泛化性能的差异。受 Werber 论文定理 2.2 和作者上述分析的启发，他们提供了模型泛化性能的上下限，并扩展使用了二次原点矩，而不是原文中描述的一次矩。通过引入距离参数ǫ，我们建立了一种不同的方法来限制 h 在移位数据分布 Q 中的鲁棒性能：

其中，P 代表实际分布，B2L 代表距离ǫ 和边界，边界取决于当前数据分布 P。海灵格距离（,）指机器学习中用于量化两个概率分布之间相似性的海灵格距离：E(X, Y) ∼ Q。L2(h(X),Y)]的上界和下界由定理 3.1 和定理 3.2 得出。

定理 3.1：移动分布下无知模型泛化性能的上限：

假设 L : Y × Y → R+ 是非负函数，且 sup(x,y) ∈ (X, Y) |L(h(x), y)| ≤ M 为某个 M > 0，则 sup(x,y) ∈ (X, Y) |L2(h(x), y)| ≤ M2 ，对于任意概率度量 P, ǫ &.gt;为 0 时，下式成立：

其中，λǫ = [ǫ2 (2 - ǫ2) (1 - ǫ2)2]1/2，Bǫ(P) = {Q∈ P(X, Y) : H(P, Q) ≤ǫ} 是一个以 P 为圆心、半径为 ǫ 的海灵格球。半径ǫ为、

一定是这样

定理 3.2：偏移分布下无知模型泛化性能的下限：

如果 L : Y × Y → R+ 是一个在（X，Y）中取非负值的函数，那么对于任何概率度量 P，当 ǫ > 0 时，下式成立：

其中，λǫ = [ǫ2 (1 - ǫ2)2 (2 - ǫ2)]1/2，Bǫ(P) = {Q∈ P(X, Y) : H(P, Q) ≤ǫ} 是一个以 P 为圆心、半径为 ǫ 的海灵格球。半径 ǫ 必须足够小：

上述定理 3.1 和定理 3.2 提供了在数据分布不匹配ǫ 的情况下，无知模型泛化性能的上下限。上界和下界是期望和方差的组合。这可以看作是损失函数二次原点矩的计算，方差是正则项。对于联合学习中的局部模型，上述上界和下界可以用来估计泛化性能差异的界限。

具有稳健权重的联盟学习

问题的提出 在典型的联合学习研究中，聚合过程中本地模型的权重比率是根据以下原则分配的：∑K k=1 pk = 1，其中 pk 是本地训练样本与总训练样本的比率。这种方法可确保每个本地模型的贡献都得到适当考虑。然而，在异构情况下，各局部模型之间的数据分布可能不同，根据样本比例确定总体权重的策略考虑到了异构数据可能带来的负面影响。

偏差和方差之间的权衡在于二次原点矩包含了重要的统计指标，即偏差和方差，它们为学习模型的准确性和通用性提供了宝贵的启示。更重要的是，根据前文所述的锐度最小化分析，二次原点矩显示出更好的稳定性和凸性。基于上述分析，作者的目标是估计局部模型二次原点矩的上下限。这些界限是在方差稳健设置下获得的。这样做的目的是全面了解模型的加权总体性能，并将潜在的变异性和不确定性考虑在内。

该问题的正式表述如下：为了减少参数总体加权中异质数据的负面影响，首先要分配一个确定的距离来量化数据分布的差异，代表分布偏移的程度。然后，估算本地模型的广义上下限。最后，根据广义界限的差异确定用于聚合的权重。

联合学习

一般联盟学习。在典型的 FL [1]中，学习目标可以概括为一个优化函数：

其中，Lk 代表第 k 个客户的总学习损失，h 代表学习模型的假设，K 代表参与训练的本地客户数。第 k 个客户有 nk 个训练数据 {(xk,1, yk,1), (xk,2, yk,2), . . . , (xk,nk , yk,nk )}，则本地目标函数 Lk(-) 可定义如下：

其中 L(, ) 表示损失函数。汇总后的全局参数会传递给服务器端客户端，第 k 个本地客户端 htk,e 会执行 E 步的本地更新：

最后，通过局部学习生成全局模型。

广义边界估计

将分布稳健性分析纳入局部模型边界估计。在异构数据场景中，使用上下限可提供更稳健、无偏见的客户端训练性能衡量标准。这一步对稳健加权聚合策略至关重要。基于上界定理 3.1 和下界定理 3.2，我们得出以下定理：

定理 4.1 移位分布下模型性能的上下限如下：

定理 4.1 概述了根据每个本地客户端的实际数据分布估算泛化性能的上下限。这些界限主要取决于实际数据分布的期望值和方差。为了估算这些界限，我们需要从实际数据分布中采样，考虑学习损失，并设定一个给定的距离来量化数据分布中的差异。

FL 的稳健加权

在本节中，作者介绍了基于定理 4.1 的稳健总体加权策略。作者的方法并不完全依赖样本比例，而是利用泛化边界的差异来实现更稳健、更公平的加权方案：在联合学习的背景下，假设每个客户端内的数据在每一轮训练中都保持不变。然而，在遵循相同模型假设的情况下，数据分布不同的客户端可能会表现出不同的泛化性能。如果上下限分别为公式 (16) 和 (17) 中定义的 u 和 l，则第 j 个客户端在给定距离上的差异 σ 计算如下：

为了获得更多关于泛化边界差异的信息，我们设置了几个不同的距离值，并计算了它们的边界差异，这可以看作是邻域值。因此，第 j 个（j = 1, . , K）客户的总边界差异 ηj 为

在第 t + 1 轮总体权重计算中，总体权重计算公式如下

表示稳健加权。作者的稳健加权策略框架如图 1 和算法 1 所示。值得注意的是，定理 4.1 中上界和下界的计算涉及不同的条件。因此，必须分别估计上界和下界，因为不可能直接进行公式推理和减法�

图 1. 稳健聚合加权概述。每个客户端都会估算模型的泛化差异，并执行训练和聚合加权

稳健的总体加权算法

本文对上述算法的主要步骤进行了抽象，并概述了算法过程。算法 1 在标准联合学习框架内提出了一种稳健的聚合加权策略。该框架包括两个步骤：客户端更新（ClientUpdate）和服务器执行（ServerExecute），并引入了四个经典基线，这些基线仍然适用于该算法的设置：在客户端更新步骤中，使用样本比例而不是本地模型参数作为权重。在服务器执行步骤中，服务器接收差异和客户端模型，并使用包含估计的边界差异信息的新权重来聚合所有客户端。在服务器执行步骤中，服务器接收差异和客户机模型，并使用包含估计边界差异信息的新权重聚合所有客户机。

试验

国际数据集和非国际数据集的边界差异

研究 CIFAR10 数据集在 IID 和非 IID 两种情况下边界分歧估计的差异；在 IID 情况下，训练数据集包括从每个类别中随机抽取的 2,000 个样本，共计 20,000 个训练样本。在 IID 情况下，训练数据集包括从每个类别中随机抽取的 2 000 个样本，共计 20 000 个训练样本。在非 IID 情况下，训练数据集也包含 20 000 个样本，每个类别的随机样本大小如下：[913, 994, 2254, 2007, 1829, 1144, 840, 4468, 713, 4838]。在所有情况下，测试集由 10 000 个样本组成，每个类别有 1 000 个样本。使用 resnet20 网络作为模型，并考虑了两种损失函数：0-1 损失和 JSD 损失。整个实验共进行了 100 轮通信，批量大小为 64。

・结果

图 2 显示了训练过程中损失和测试精度的变化趋势。结果清楚地表明，与非 IID 情况相比，模型在 IID 情况下表现更好。图 3 显示了 0-1 和 JSD 损失的上下限，蓝线代表 IID 数据，红线代表非 IID 数据。在 10 个等间距离散点计算总边界差异：对于 0-1 损失，非 IID 数据的总边界差异为 2.28，IID 数据的总边界差异为 2.10；对于 JSD 损失，非 IID 数据的总边界差异为 2.38，IID 数据的总边界差异为 2.16。这些结果表明，在 IID 情景下，数据彼此相似并遵循相同的分布，因此可能的预测结果范围较小，不同模型和算法之间的差异边界较窄。相反，在非 IID 情景下，数据更加多样化，可能遵循不同的分布，导致可能的预测结果范围更广，模型之间的分歧界限更宽松。

这些结果认识到，通过估算异质数据分布的泛化性能边界，可以有效评估异质数据分布的变化。此外，它们还为后续的稳健总体加权实验提供了初步的理解。

图 2：在 IID 和非 IID CIFAR10 数据集上的测试准确率和训练损失

图 3：CIFAR10 数据集中 0-1 损失和 JSD 损失的上下限差异，IID 数据为蓝线，非 IID 数据为红线，表明 IID 的上下限差异比非 IID 更小

对 FL 进行稳健的总体加权

作者的实验是利用 FL 中的边界差异来测试稳健总体加权的有效性。所选基线遵循 FedDyn 论文，具体包括 FedAvg、FedProx、SCAFFOLD 和 FedDyn。在相同的超参数设置下，将样本权重与稳健总体权重的百分比进行比较。

・实验环境

数据集 为了评估数据异质性，我们使用了在联合学习研究中广泛使用的四个数据集：CIFAR10、MNIST、CIFAR100 和 EMNIST。为了对非 IID 数据集进行更真实的模拟，我们引入了客户类别的异质性分布，并考虑到某些类别缺失的可能性。为此，我们从非平衡 Dirichlet 分布中采样。对于每个客户，都会从 Dirichlet 分布中生成一个随机向量 pk ∼ Dir(α)；在分配给第 k 个客户的数据集中，属于每个类别 c 的图像比例表示为 (100 - pk,c)%。在实验中，我们将对数正态分布的参数设置为不平衡 sgm = 0.9，将狄利克雷分布的参数设置为规则 arg = 0.3。此外，为了模拟真实世界中的噪声数据，我们在四个数据集中引入了 20% 的噪声数据，将部分标签赋值为 0。

设置在所有实验中，我们假设所有客户端都参与了每一轮通信，即每个客户端参与训练的概率等于 1。如图 4 所示，我们将不同数据集的通信轮数设置为 [200、500、700]。权重衰减等于^1e-3，批量大小为 50。对于每个数据集，分别使用 10、20、50、100 和 200 个客户端进行实验。对于 MNIST 和 EMNIST 数据集，使用由两个隐藏层组成的全连接神经网络，隐藏层分别有 200 和 100 个神经元。在 CIFAR10 和 CIFAR100 数据集上的实验使用了（McMahan 等人，2017 年）中使用的 CNN 模型，其中包括两个卷积层和一个 64 × 5 × 5 过滤器，两个全连接层中分别有 394 和 192 个神经元，然后是一个 softmax 层。层中的 394 个神经元和 192 个神经元，然后是一个软最大层。

・模型性能的实验结果

总体概述 作者将稳健总体加权策略和原始样本比率方法应用于四种经典基线算法。图 4 显示了 10、20 和 50 个客户端的测试准确率结果，并增加了 20% 的噪声数据。图中，实线表示稳健聚合加权策略，虚线表示样本比率策略。表 1 列出了所有实验的相应测试精度。表 1 中，Propto 代表样本比例，Robust 代表稳健总体加权。从表中可以明显看出，作者的策略始终比原始策略获得更高的测试精度。作者的实验结果表明，FedAvg 和 FedProx 的性能显著提高，SCAFFOLD 和 FedDyn 的性能略有提高。这些结果表明，作者的稳健聚合加权法在处理异构和高噪声数据时更公平、更稳健。

图 4：CIFAR10、MNIST、CIFAR100、EMNIST , 0.9 ) 使用 Dirichlet (0.3)。不同数据集的通信轮数设置为 [200,500,700]

表 I：使用 Dirichlet (0.3, 0.9) 的测试精度

测试准确性 具体来说，观察表 1 中联邦学习测试准确性的实验数据可以发现，加权法始终比 FedAvg 和 FedProx 基线法有显著改进。此外，当客户间数据分布中的噪声数据比例较高且异质性较强时，正则化项 FedProx（对 FedAvg 的改进）的性能并没有持续优于 FedAvg。在 MNIST 数据集上，测试结果有 77.5% 的时间优于原始方法；在 EMNIST、CIFAR10 和 CIFAR100 数据集上，失败率分别为 2.5%、5% 和 15%。出现这种现象的原因是，在引入加权估计的偏差修正时，训练过程中数据集的异质性会导致维度坍缩，从而造成一些表征信息的丢失、权重无效和模型性能不佳。在 FedDyn 中，尽管在 SCAFFOLD、FedProx 和 FedAvg 中引入了新的权重，但其卓越的性能仍然难以与原始加权模型的性能相媲美。难以捕捉某些优秀客户的有效边界错配，但仍不失为一种出色的解决方案。

稳健性 分析除上述分析外，作者还进行了稳健性分析，以评估其稳健聚合加权策略的性能。实验结果表明，作者的稳健聚合加权策略在参数聚合期间为异构数据比例较高的客户端分配较小的权重，从而促进了公平性。特别是对于 FedAvg 和 FedProx，稳健聚合加权策略显著提高了准确性，而对于 SCAFFOLD 和 FedDyn 则略有提高。这些结果背后的原因是，FedAvg 和 FedProx 是经典方法，没有充分解决异构数据导致的局部模型偏差修正问题，而 SCAFFOLD 和 FedDyn 则侧重于优化异构数据导致的局部模型偏移。这是因为，与 FedAvg 和 FedProx 相比，SCAFFOLD 和 FedDyn 可提高准确性，但需要更多的训练时间。FedAvg 和 FedProx 采用了作者的稳健聚合加权策略，可以达到与 SCAFFOLD 和 FedDyn 相当的性能，同时所需的计算时间更少。

沟通与性能之间的平衡 从横向角度来看，作者的新加权方法与原始方法在四种基线上的测试准确性差异已经缩小。例如，将 FedAvg 和 FedProx 与 SCAFFOLD 进行比较，在基于样本比率加权的实验中，FedAvg 和 FedProx 的性能始终明显低于 SCAFFOLD。然而，在基于边界错配的加权实验中，算法之间的性能差异迅速缩小，在少数情况下，FedAvg 和 FedProx 的性能优于 SCAFFOLD。同样，在将边界信息纳入总体加权后，FedAvg 和 FedProx 的模型性能略微落后于 FedDyn，但与样本比率加权法相比，差距明显较小。这尤其适用于通信和计算限制严格但精度要求较宽松的情况。为进一步评估实验的稳定性，还进行了涉及 100 和 200 个客户端的额外实验，如图 5 所示。这些实验所获得的结果与 10、20 和 50 个客户端实验中观察到的改进结果一致。表 1 还列出了更详细的实验结果。在表 1 中，作者的实验结果显示，与 FedAvg 和 FedProx 相比，准确率有了显著提高。不过，值得注意的是，作者的加权策略并没有持续提高所有联合学习算法的准确性。这可能是由于 SCAFFOLD 和 FedDyn 等 FL 算法的稳定性以及过度拟合训练的潜在风险造成的。总体而言，实验结果为作者的加权策略的有效性提供了令人信服的证据，尤其是在 FedAvg 和 FedProx 的情况下。

・检测精度的差异分析

实验在四个基线和四个数据集上进行，随机选择 10 个和 100 个客户号，并计算模型收敛后测试精度的方差。具体情况见表 2。与上表中的设置一样，Propto.代表样本比率加权法，Robust.代表基于作者新的广义边界估计法。方差是根据收敛后继续参与通信训练的模型的性能计算的。

作者之所以进行这一分析，是因为在噪声比高和数据异质性强的环境中，一些方法（如 SCAFFOLD 4）在收敛后会出现明显的振荡，从而增加了模型训练的不确定性。因此，我们比较了几种基线方法的性能稳定性，这可以从图 4 和图 5 中直观地观察到。具体而言，表 2 显示，与原始加权法相比，作者的加权法在 90.625% 的情况下总体降低了测试精度方差；与样本比加权法相比，FedAvg 和 FedProx 方法的测试精度方差降低了与样本比率加权法相比，FedAvg 和 FedProx 法的测试准确度方差更小。

在 FedDyn 和 SCAFFOLD 方法中，只有部分方差超过了原始加权方法的方差。这表明作者的方法在大多数情况下都能实现稳健的训练，但在某些极端情况下可能会失败，需要进一步探讨。

表 II：根据 Dirichlet ( 0.3 , 0.9 ) 计算的检测精度方差

图 5：使用 Dirichlet (0.3, 0.9) 的 CIFAR10、MNIST、CIFAR100 和 EMNIST

噪声数据和 FL 中不同比例的客户

实验测试了作者的稳健总体加权策略在不同比例的随机噪声数据和不同比例的参与客户下的有效性。为了引入噪声，我们在 CIFAR10 和 EMNIST 数据集中添加了 40% 的噪声。关于参与客户的比例，我们将参与 CIFAR10 数据集训练的客户比例设置为 prob=0.7。实验的其他设置保持不变。

图 6、表 3 和表 4 总结了这些实验的结果。与上述实验结果相比，我们发现作者的稳健聚合加权策略即使在处理较高比例的噪声数据和只有部分客户参与训练时也很有效。该策略在不同情况下都能持续提高测试准确率，证明了其稳健性和适应性。这些研究结果凸显了作者的总体加权策略的稳健性，即使在存在高噪声数据的情况下也是如此。这些研究结果表明，即使大量数据被破坏，即使只有一部分客户参与了训练过程，该策略仍然有效。

作者的策略能够适应如此苛刻的场景，这是一大优势，可确保在真实世界环境中进行可靠、准确的模型训练。

图 6 (a) CIFAR10 的测试准确率，数据噪声为 40%，Dirichlet(0.3, 0.9)。(b) CIFAR10 的测试准确率，其中 70% 的客户参与了训练，Dirichlet(0.3, 0.9)。实线，加权策略；虚线，使用训练样本的比例作为权重

表 3 针对 40% 噪音数据的 Dirichlet (0.3, 0.9) 测试精度

表 4：70% 客户的 Dirichlet (0.3, 0.9) 测试准确率

结论

在联合学习（FL）领域，人们注意到，传统的基于样本比例的总体加权方法可能会因为每个客户数据分布的差异而产生不公平的结果。为了解决这个问题，研究人员从一个新的角度审视了总体加权方法。具体来说，他们提出了一种考虑到每个客户本地模型性能的方法。参考对分布稳健性的分析，研究人员引入了一种基于每个本地模型决策边界之间差异的加权方法，而不是简单地基于样本比例。

为了获得这些界限，我们使用了鲁棒性损失的二次矩来实现界限的平滑概括，同时避免给某些客户分配极小的权重。事实证明，这种方法在 FL 的实际应用场景中更为有效，如噪音和类不平衡。

各种实验结果表明，所提出的加权策略大大提高了现有 FL 算法的性能和鲁棒性。未来的工作包括开发自动自适应加权方法，以便在使用不同分布的数据集进行训练时实现梯度聚合。这些工作有望进一步发展联合学习（Federated Learning）。

与本文相关的类别

友安昌幸 (Masayuki Tomoyasu): JDLA G检定2020#2,E资格2021#1 数据科学家协会 DS检定日本创新融合学会 DX检定专家联合公司Amico咨询 CEO

赶上最新的AI论文

为联合学习提出的稳健加权策略

概述

介绍

用心

相关研究