[mPLUG-Owl]开发能理解图像和文本的 LLM

计算与语言 06/02/2024

三个要点
✔️ 最近关于大规模语言模型（LLMs）的研究主要集中在结合多种信息源的能力上。
✔️ mPLUG-Owl 训练方法允许将视觉信息纳入 LLM。这样就可以将不同的信息源结合起来，从而提高 LLM 的性能。
✔️ mPLUG-Owl 使用两个阶段的训练来提高 LLMs 将图像与文本联系起来的能力。实验表明其性能优于现有方法，有望在实践中得到应用。

mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality
written by Qinghao Ye, Haiyang Xu, Guohai Xu, Jiabo Ye, Ming Yan, Yiyang Zhou, Junyang Wang, Anwen Hu, Pengcheng Shi, Yaya Shi, Chenliang Li, Yuanhong Xu, Hehong Chen, Junfeng Tian, Qian Qi, Ji Zhang, Fei Huang
(Submitted on 27 Apr 2023)
Comments: Working in Process
Subjects: Computation and Language (cs.CL); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

导言

最近的研究重点是利用 LLM 将多种来源（模式）结合起来的能力。

研究人员尝试了两种方法来开发包含视觉信息的 LLM：一种方法使用视觉信息的文字描述，另一种方法使用综合模型。然而，这些方法都存在挑战，难以处理某些多模态任务。

因此，本文提出了一种新的训练方法 mPLUG-Owl。它旨在将视觉信息纳入 LLM，由三部分组成：LLM 本身、视觉知识模块和视觉抽象模块。这种方法可以将不同来源的信息结合起来，提高 LLM 在不同任务中的性能。

具体来说，我们采用两阶段训练方法来关联图像和文本。在第一阶段，训练将图像与文本关联起来的模块；在第二阶段，对这些模块进行微调，以提高 LLM 的性能。

实验结果表明，mPLUG-Owl 优于现有方法。该方法还提高了联想多幅图像和理解文本的能力，可应用于现实世界的问题。

mPLUG-Owl

mPLUG-Owl 是一种多模态模型，它结合了视觉和语言，可以整合图像和文本等信息，从而理解意义并产生反应。

具体来说，mPLUG-Owl 由视觉基础模型、语言基础模型和视觉抽象模块组成。视觉信息被概括为标记，并与语言和输入相结合。

图 1：不同训练范式之间的比较。所有这些方法都分两个阶段进行训练。第一阶段是预训练，第二阶段是指令调整。

mPLUG-Owl 的训练过程也是通过语言建模任务来完成的。这一过程可学习如何生成后续标记，并将训练损失降至最低。

此外，mPLUG-Owl 培训还包括联合指导协调阶段。该阶段整合了视觉和语言信息，以完善模型并提高各种任务的性能。

因此，mPLUG-Owl 能整合多模态信息，在语言理解和生成反应任务中表现出色。

结果

本文的实验考虑了如何将多模态引入大型语言模型。首先，在模型设置中，选择了一个名为 ViT-L/14 的视觉基础架构模型，该模型有 1024 个隐藏维度和 24 层；ViT 由 CLIP ViT-L/14 模型初始化而来，该模型共有 24 层，共 24 个隐藏维度。训练时使用了 LAION-400M、COYO-700M、Conceptual Captions 和 MSCOCO 等数据集，模型的训练步数为 50k，总共代表了约 1040 亿个词块。此外，还通过两步训练方案中的数据模态消减和教学调整评估了模型的性能。