FedNano：大型多模态模型的轻量级高效分布式学习

24/07/2025

三个要点
✔️ FedNano，一种用于大规模多模态模型的轻量级联合学习方法
✔️ 在客户端只训练 NanoAdapters，大大降低了通信和计算成本减少
✔️ Fisher Merging 即使在数据分布不均匀的情况下也能实现高度精确的聚合

FedNano: Toward Lightweight Federated Tuning for Pretrained Multimodal Large Language Models
written by Yao Zhang, Hewei Gao, Haokun Chen, Weiguo Li, Yunpu Ma, Volker Tresp
(Submitted on 12 Jun 2025)
Comments: 12 pages, 3 figures
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Multimedia (cs.MM)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

概述

近年来，能够处理图像和语言等多种模式的 MLLM 备受关注。它们在跨模态搜索和视觉问题解答等高级任务中表现出色，但由于参数数量庞大，很难在需要部署到终端侧和保护隐私的实际场景中运行。联合学习（FL）是一种在不集中分布式数据的情况下训练模型的有前途的方法，但其在 MLLM 中的应用存在许多障碍，如计算资源、通信负载和数据的非 IID 性。

本文提出了一个新的 FL 框架 FedNano，以克服这些挑战：在 FedNano 中，计算密集型大规模语言模型（LLM）被固定在服务器上，而自适应处理则通过一个名为 NanoEdge 的轻量级模块在客户端执行。这种设计将客户端的存储负担降低了 95% 以上，将通信所需的参数降低了不到 0.01%。此外，通过引入一种名为费舍尔合并的技术，该系统还能为非均匀客户端数据提供较高的泛化性能。

建议的方法

FedNano 的核心是 "以服务器为中心的 LLM + 客户端轻量级适应 "架构。NanoEdge 由特定于模式的编码器、连接器和称为 NanoAdapter 的可变部分组成。FedNano 采用基于 LoRA（Low-Rank Adaptation）的低秩分解设计，可灵活适应特定任务，同时大幅降低计算和通信要求。

此外，FedNano 在聚合从客户端收集到的 NanoAdapter 更新时，使用费舍尔信息矩阵（FIM）进行费舍尔合并。这是一种通过估算每个客户端更新的重要性并对其进行相应加权，从而有效整合来自一组数据分布具有统计学差异的客户端的信息的机制。通过这种方式，FedNano 在模型结构和通信设计方面实现了可扩展且保护隐私的 MLLM 联合学习。

实验

为了验证 FedNano 的有效性，作者用具有代表性的视觉问题解答（VQA）任务--科学问题解答（ScienceQA）和图标问题解答（IconQA）--进行了实验。评估中使用了 MiniGPT-4 和 LLaVA-1.5 等高级 MLLM，并根据 Dirichlet 分布将数据划分为 5-10 个客户端，以模拟非均匀数据环境。

作为比较，测试了与传统 FL 方法（如 FedAvg、FedProx 和 FedDPA-F）以及集中模型（性能上限）和本地微调（性能下限）的性能差异。结果表明，在所有情况下，FedNano 的平均准确率最高，并且具有出色的鲁棒性，尤其是在数据不均匀性较强的情况下。FIM 的简化版本 FedNanoo-EF 也得到了验证，它显著降低了计算成本，但准确度却略有下降。此外，FedNano 的可扩展性和泛化性能在客户端数量增加和任务间异质性增加的情况下也得到了证实。