FedNano：大規模マルチモーダルモデルを軽量・効率的に分散学習

LLM-Paper 2025年07月24日

3つの要点
✔️ 大規模マルチモーダルモデルの軽量なフェデレート学習手法「FedNano」を提案
✔️ クライアント側ではNanoAdapterのみを訓練し、通信量と計算コストを大幅に削減
✔️ Fisher Mergingにより非一様なデータ分布でも高精度な集約が可能に

FedNano: Toward Lightweight Federated Tuning for Pretrained Multimodal Large Language Models
written by Yao Zhang, Hewei Gao, Haokun Chen, Weiguo Li, Yunpu Ma, Volker Tresp
(Submitted on 12 Jun 2025)
Comments: 12 pages, 3 figures
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Multimedia (cs.MM)

code：

概要

近年、画像と言語など複数のモダリティを扱えるMLLMsが注目されています。これらはクロスモーダル検索や視覚質問応答といった高度なタスクで優れた性能を示しますが、膨大なパラメータ数ゆえに、端末側への展開やプライバシー保護を求められる実世界のシナリオでは運用が困難でした。フェデレーテッドラーニング（Federated Learning, FL）は、分散したデータを中央に集約せずにモデルを訓練できる手法として有望ですが、MLLMに適用するには計算資源や通信負荷、データの非一様性（non-IID）といった多くの障壁があります。

本論文では、これらの課題を克服する新たなFLフレームワーク「FedNano」が提案されました。FedNanoでは、計算集約的な大規模言語モデル（LLM）をサーバに固定し、クライアント側ではNanoEdgeという軽量モジュールを使って適応処理を行います。この設計により、クライアントのストレージ負担を95%以上削減し、通信に必要なパラメータも0.01%未満に抑えることが可能になります。さらに、Fisher Mergingという手法を導入することで、非一様なクライアントデータに対しても高い汎化性能を発揮します。

提案手法

FedNanoのコアとなるのは「サーバ集中型LLM＋クライアント軽量適応」というアーキテクチャです。具体的には、LLMはサーバに常駐させたままにし、クライアント側にはNanoEdgeという小型モジュールを導入します。NanoEdgeは、モダリティ別のエンコーダ、コネクタ、そしてNanoAdapterと呼ばれる可変部分で構成されます。NanoAdapterはLoRA（Low-Rank Adaptation）に基づく低ランク分解を用いて設計されており、計算量と通信量を大幅に抑えながら、タスクごとの柔軟な適応が可能です。

さらにFedNanoでは、クライアントから集めたNanoAdapterの更新情報を集約する際に、Fisher Information Matrix（FIM）を用いたFisher Mergingを適用しています。これは、各クライアントの更新情報の重要度を推定し、それに基づいて重み付けを行うことで、統計的に異なるデータ分布を持つクライアント群からの情報を効果的に統合する仕組みです。このように、FedNanoはモデル構造と通信設計の両面から、スケーラブルかつプライバシー保護に適したMLLMのフェデレーテッド学習を実現しています。

実験

FedNanoの有効性を検証するために、著者らは代表的な視覚質問応答（VQA）タスクであるScienceQAとIconQAを用いて実験を行いました。評価対象にはMiniGPT-4とLLaVA-1.5といった先進的なMLLMが使用され、非一様データ環境を模擬するためにDirichlet分布に基づいてデータを5〜10のクライアントに分割しました。

比較対象として、FedAvg、FedProx、FedDPA-Fといった従来のFL手法や、中央集約型モデル（上限性能）およびローカル微調整（下限性能）との性能差が検証されました。その結果、FedNanoはすべての設定において平均精度が最も高く、特にデータの非一様性が強い条件下で優れたロバスト性を示しました。また、FIMを簡易化したFedNano-EFも検証され、精度のわずかな低下と引き換えに計算コストの大幅削減を実現しました。さらに、クライアント数の増加やタスク間の異質性が増した設定においても、FedNanoのスケーラビリティと一般化性能が確認されました。