【Ferret】LLMの分散環境での全パラメータ調整を効率化する手法！通信コストを大幅に削減しモデル精度を向上

Large language models 2024年09月26日

3つの要点
✔️ LLMの分散環境での全パラメータ調整を効率化する手法「Ferret」を提案
✔️ Ferretは通信コストを大幅に削減しながら、計算効率とモデル精度を両立
✔️ LLMのスケーラブルな分散学習が現実的になる

Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models
written by Yao Shu, Wenyang Hu, See-Kiong Ng, Bryan Kian Hsiang Low, Fei Richard Yu
(Submitted on 10 Sep 2024)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

背景

LLMは、自然言語処理やコード生成、意思決定システムなど、さまざまな実世界のタスクにおいて重要な役割を果たしています。しかし、これらのモデルを分散環境で微調整する際には、大きな通信コストや計算効率の低下が問題となります。

従来の分散学習では、データをローカルで保持しながらモデルを調整することでプライバシーを確保しますが、その一方でモデルパラメータの規模が大きくなると通信の負担が増加します。このため、部分的なパラメータの微調整（PEFT）がよく用いられますが、これではモデルの精度が犠牲になることがあります。

本論文で提案されている「Ferret」は、この問題を解決するための新しいアプローチです。従来の方法と比べて高速に収束しつつ、モデル精度の低下を抑えることが可能です。

手法

「Ferret」は、LLMを分散データソースでスケーラブルに全パラメータ調整するための新しい手法です。この手法は、従来の分散型学習における通信コストや計算効率の問題を克服しつつ、モデルの精度を保つことを目的としています。

Ferretの特徴と動作

Ferretは以下の3つの主要な要素から構成されています。

効率的なローカル更新：Ferretは各クライアントで計算効率の高い一次最適化（ファーストオーダー）手法を用いてローカルモデルの更新を行います。これにより、従来のゼロ次最適化（ZOO）手法と比較して、同じ更新を少ない反復回数で達成できます。
低次元空間への射影：ローカル更新結果を低次元の空間に射影し、必要な通信コストを大幅に削減します。この射影は、ランダムな基底を使って実行され、クライアント間で共有されたランダムネスにより低次元空間からの更新の再構築が可能になります。
共有ランダムネスによる再構築：低次元空間から再構築された更新情報を用いて、効率的なグローバルなパラメータの集約を行います。これにより、高速な収束と競争力のあるモデル精度を実現します。

まず、各クライアント（例えばスマホやパソコン）は、自分の持っているデータを使ってモデルを少しずつ調整します。この調整は「一次最適化」と呼ばれる方法で行われ、効率的な計算が可能です。次に、この調整された情報は、そのまま送ると通信量が多くなるため、Ferretでは「低次元空間」と呼ばれる形に圧縮してサーバーに送ります。

この圧縮はデータのサイズを小さくし、通信コストを削減する役割を果たします。最後に、中央のサーバーでクライアントから送られてきた圧縮情報を再構築し、全体のモデルを更新します。

この再構築には「共有ランダムネス」という技術が使われており、低次元に圧縮された情報を正確に復元することができます。こうして再構築された情報をもとに、グローバルなモデルが調整され、精度の高いモデルが完成します。

Ferretのメリット

Ferretの主なメリットは、以下の3点です。

計算効率の向上：一次最適化手法を採用することで、クライアントごとの計算コストが低減され、迅速なモデルの適応が可能です。
通信コストの削減：低次元の射影を活用することで、必要なデータの送受信量が大幅に削減され、従来の方法と比較してはるかに効率的です。
高速な収束：グローバルな更新の精度を保ちながら、少ないラウンド数で目標精度に到達することができます。

実験

実験では、提案手法である「Ferret」の性能を他の分散型フルパラメータチューニング手法と比較して評価しています。実験は、DataJuicer-1.3BとLLaMA-3Bのモデルを用いて、Natural InstructionsとDolly-15Kという2つのデータセット上で行われました。Ferretの特徴である高効率な計算、通信コストの削減、そして高速な収束を確認するために、他の手法と比べて少ないラウンド数で実験が実施されました。