[Ferret] 一种简化分布式 LLM 环境中所有参数调整的方法！显著降低通信成本，提高模型精度

大型语言模型 26/09/2024

三个要点
✔️ Ferret，一种在分布式环境中调整 LLMs 所有参数的高效方法
✔️ Ferret 兼具计算效率和模型准确性，同时显著降低通信成本
✔️ 可扩展的 LLM 分布式学习变得可行

Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models
written by Yao Shu, Wenyang Hu, See-Kiong Ng, Bryan Kian Hsiang Low, Fei Richard Yu
(Submitted on 10 Sep 2024)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

背景

LLM 在自然语言处理、代码生成和决策系统等各种实际任务中发挥着重要作用。然而，在分布式环境中对这些模型进行微调时，通信成本巨大和计算效率降低是一个问题。

传统的分布式学习在保持本地数据的同时对模型进行调整，从而确保了私密性，但另一方面，随着模型参数大小的增加，通信负担也随之增加。因此，部分参数微调（PEFT）经常被使用，但这可能会牺牲模型的准确性。

本文提出的 Ferret 是解决这一问题的新方法。与传统方法相比，它的收敛速度更快，同时降低了模型精度的下降。

技术

Ferret "是一种在分布式数据源上对 LLM 进行可扩展、全参数调整的新方法。该方法旨在克服传统分布式学习的通信成本和计算效率问题，同时保持模型的准确性。

雪貂的特点和操作

雪貂由三个主要部分组成

高效的本地更新：在每个客户端，Ferret 使用计算高效的一阶优化（一阶）方法更新本地模型。与传统的零阶优化（ZOO）方法相比，这种方法能以更少的迭代次数实现相同的更新。
投影到低维空间：本地更新结果被投影到低维空间，大大减少了所需的通信成本。这种投影使用随机基础进行，客户端之间共享的随机性允许从低维空间重建更新。
共享随机性重构：利用从低维空间重构的更新进行高效的全局参数聚合。这确保了快速收敛和具有竞争力的模型精度。

首先，每个客户端（如智能手机或电脑）都会根据自己掌握的数据对模型进行小幅调整。这种调整采用一种被称为 "一阶优化 "的方法，可以提高计算效率。其次，调整后的信息会被 Ferret 压缩成一种称为 "低维空间 "的形式，然后发送到服务器，因为原封不动地发送会导致大量通信。

这种压缩可以减少数据量，降低通信成本。最后，中央服务器会重建客户端发送的压缩信息，并更新整个模型。

这种重建使用了一种名为 "共享随机性 "的技术，它能准确地重建压缩到较低维度的信息。根据重建的信息，对全局模型进行调整，从而完成一个高精度的模型。

雪貂的好处

雪貂的三大好处是

提高计算效率：一阶优化方法可降低每个客户端的计算成本，并允许快速调整模型。
降低通信成本：通过利用低维投影，发送和接收所需的数据量大大减少，使其比传统方法更加高效。
快速收敛：在保持全局更新精度的同时，可以在更少的回合内达到目标精度。

试验

在实验中，对照其他分布式全参数调整方法，对拟议方法 Ferret 的性能进行了评估。实验使用 DataJuicer-1.3B 和 LLaMA-3B 模型在两个数据集（Natural Instructions 和 Dolly-15K）上进行，以证实 Ferret 的特点：计算效率高、通信成本低和收敛速度快。与其他方法相比，这些实验使用了较少的轮数。