【mPLUG-Owl】画像とテキストを理解できるLLMの開発

Computation and Language 2024年02月06日

3つの要点
✔️ 大規模言語モデル（LLM）の近年の研究では、複数の情報源を組み合わせる能力に焦点が当てられています。
✔️ トレーニング手法「mPLUG-Owl」を使えば、LLMに視覚情報を組み込めます。これにより、異なる情報源を組み合わせられるようになり、LLMの性能UPにつながります。
✔️ mPLUG-Owlは、2段階のトレーニングを用いて、LLMの画像とテキストを関連付ける能力を高めます。実験では、既存の手法よりも優れた性能が示されており、実務への応用が期待されます。

mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality
written by Qinghao Ye, Haiyang Xu, Guohai Xu, Jiabo Ye, Ming Yan, Yiyang Zhou, Junyang Wang, Anwen Hu, Pengcheng Shi, Yaya Shi, Chenliang Li, Yuanhong Xu, Hehong Chen, Junfeng Tian, Qian Qi, Ji Zhang, Fei Huang
(Submitted on 27 Apr 2023)
Comments: Working in Process
Subjects: Computation and Language (cs.CL); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

導入

近年の研究では、LLMを使って複数の情報源（モダリティ）を組み合わせる能力が注目されています。

研究者たちは、視覚情報を組み込んだLLMを開発するために2つのアプローチを試みています。1つは、視覚情報をテキストで説明する方法であり、もう1つは統合モデルを使用する方法です。しかし、これらのアプローチには、特定のマルチモーダルなタスクの処理が難しい課題があります。

そこで、本論文で提案されたのが、新しいトレーニング方法「mPLUG-Owl」です。これは、LLMに視覚情報を組み込むためのもので、LLM自体と視覚的な知識モジュール、視覚的抽象化モジュールの3つの部分から構成されています。この方法を使うと、異なる情報源を組み合わせられるようになり、さまざまなタスクにおけるLLMの性能を向上させられます。

具体的には、画像とテキストを関連付けるための2段階のトレーニング方法が使われます。最初の段階では、画像とテキストを関連付けるためのモジュールがトレーニングされ、次の段階では、これらのモジュールを微調整してLLMの性能を高めます。

実験結果では、mPLUG-Owlが既存の方法よりも優れていることが示されています。また、この方法を使うと、複数の画像を関連付けたり、テキストを理解したりする能力が向上し、実際の問題に応用することが可能になります。

mPLUG-Owl

mPLUG-Owlは視覚と言語を組み合わせたマルチモーダルなモデルであり、画像やテキストなどの情報を統合して意味の理解や応答生成を行うことができます。

具体的には、mPLUG-Owlは視覚基盤モデル、言語基盤モデル、および視覚アブストラクタモジュールで構成されています。視覚情報はトークンに要約され、言語と結合されて入力されます。

図 1: 異なるトレーニングパラダイム間の比較。これらのメソッドはすべて 2 段階の方法でトレーニングされます。ステージ 1 は事前トレーニングを表し、ステージ 2 は命令チューニングを表します。

また、mPLUG-Owlのトレーニングプロセスは、言語モデリングタスクを使用して行われます。このプロセスでは、後続のトークンを生成する方法を学習し、トレーニング損失を最小化します。

さらに、mPLUG-Owlのトレーニングには共同命令調整段階があります。この段階では、視覚と言語の情報を統合してモデルを改良し、様々なタスクでのパフォーマンスを向上させます。

このように、mPLUG-Owlはマルチモーダルな情報を統合し、言語理解や応答生成のタスクで優れた性能を発揮します。

結果

論文の実験では、大規模な言語モデルにマルチモダリティを導入する方法が検討されました。まず、モデルの設定では、ViT-L/14というビジュアル基盤モデルが選択され、その隠れディメンションは1024で、24層があります。ViTは、CLIP ViT-L/14モデルから初期化されます。トレーニングには、LAION-400M、COYO-700M、Conceptual Captions、およびMSCOCOなどのデータセットが使用され、合計で約1,040億トークンに相当する50kステップでモデルがトレーニングされました。さらに、2段階のトレーニングスキームと指導チューニングのデータモダリティをアブレーションすることで、モデルの性能を評価しました。

この図は、OwlEvalという視覚関連の評価セットを使用して、mPLUG-Owlと他のモデルの応答品質を比較した結果を示しています。図中では、応答品質のランキングの順序がA > B > C > Dであり、それぞれのモデルのパフォーマンスが示されています。この図には、各モデルが生成した82の応答が含まれており、それらの応答が手動でスコア付けされています。

定量分析では、OwlEvalという視覚関連の評価セットが使用され、異なるモデルが様々な質問に回答する能力が評価されました。結果は、mPLUG-Owlが他のモデルよりも優れた応答を生成し、特に命令と画像の両方を理解する能力が強化されたことを示しています。

定性分析では、知識集約型QAやマルチターン会話などの具体的なケースが提示され、mPLUG-Owlが他のモデルよりも優れたパフォーマンスを示すことが観察されました。一方で、ジョークの理解に関するケースでは、mPLUG-Owlもユーモアを理解する能力を示しましたが、トレーニングデータの制限により一部の誤りが見られました。

これらの結果は、mPLUG-Owlがマルチモダルなタスクにおいて高い性能を示すことを示唆していますが、一部の領域では改善の余地があることも示しています。

考察

このセクションでは、mPLUG-Owlの初期機能とその制限について述べられています。

図10では、複数の画像にわたる視覚相関機能が示されており、同じ人物の識別や色の違いの識別などで一定の成功を収めていますが、複数の画像を関連付ける能力にはまだ限界があります。

図11では、中国語、フランス語、日本語の多言語理解能力が示されており、有望な結果が得られていますが、まだ完全な多言語トレーニングが不足しています。

図16から18では、単純なシーンから複雑なシーンまでのOCR（光学式文字認識）機能が示されていますが、数字の認識にはまだ改善の余地があります。

図12では、映画レビューやコード生成などの文書理解とその応用が探究されていますが、一部の応用ではまだ満足できる結果が得られていません。

また、図13と14では、mPLUG-Owlが詩や歌詞、広告などの作品の制作に使用される場面が示されていますが、より実用的な作品を作成するにはさらなる研究が必要です。

結論

この論文の結論では、新しいトレーニング方法であるmPLUG-Owlが提案されています。この方法は、大規模な言語モデル（LLM）のマルチモーダル能力を向上させます。mPLUG-Owlは、基礎となるLLMをモジュール化し、視覚的な知識やアブストラクターを組み込むことで、画像とテキストの連携を強化します。この手法は、さまざまなアプリケーションにおいて優れた性能を示し、マルチモーダル生成の可能性を示唆しています。

私の意見としては、この新しいトレーニング方法は、人工知能の進化において重要な一歩であり、視覚情報と言語情報の組み合わせによって、より多様でクリエイティブな生成が可能になると考えられます。