【NVLM】画像と言語タスクにおいてGPT-4oを上回るマルチモーダルLLM
3つの要点
✔️ NVLM 1.0という新しいマルチモーダル大規模言語モデルを提案
✔️ このモデルは、視覚と言語のタスクを同時に処理し、従来のモデルを上回る性能を発揮
✔️ 複雑な推論やOCRといった高度なマルチモーダルタスクがより効率的かつ効果的に実行
NVLM: Open Frontier-Class Multimodal LLMs
written by Wenliang Dai, Nayeon Lee, Boxin Wang, Zhuoling Yang, Zihan Liu, Jon Barker, Tuomas Rintamaki, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping
(Submitted on 17 Sep 2024)
Comments: Published on arxiv.
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Multimedia (cs.MM)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
背景
従来のマルチモーダルLLMには、デコーダーのみのアーキテクチャ（例：LLaVA）とクロスアテンションベースのアーキテクチャ（例：Flamingo）の2つの主要なアプローチがありました。NVLM 1.0では、これらのアプローチの長所と短所を比較し、新しいハイブリッドアーキテクチャを提案することで、訓練効率とマルチモーダルな推論能力の両方を向上させています。
また、この論文では高解像度画像をタイル形式で処理する「1-Dタイルタグデザイン」という新しい手法も導入されています。これにより、OCR（光学文字認識）関連のタスクやマルチモーダルな推論能力が大幅に向上しています。
さらに、マルチモーダルの事前学習および教師あり微調整のデータセットについても詳細に説明されており、データの質とタスクの多様性が規模よりも重要であることが示されています。
手法
NVLM 1.0の最大の特徴は、三つの異なるアーキテクチャを持つモデルファミリーである点です。これらは、デコーダーのみの「NVLM-D」、クロスアテンションベースの「NVLM-X」、そして両方の長所を組み合わせた「NVLM-H」というハイブリッドアーキテクチャです。この組み合わせにより、それぞれのモデルが異なる種類のタスクで最適なパフォーマンスを発揮できるようになっています。
NVLM-Dは、視覚的な特徴をデコーダーのみのネットワークで直接処理し、統一的な推論能力を実現しています。一方、NVLM-Xはクロスアテンションを使用し、視覚的な情報を効率的に取り込むことで、高解像度画像の処理に強みを発揮します。最後に、NVLM-Hは、サムネイルの画像情報をデコーダー層で、他のタイル化された画像情報をクロスアテンションで処理することで、両者の利点を活かしながら計算効率を高めています。
さらに、NVLM 1.0は「1-Dタイルタグデザイン」と呼ばれる高解像度画像の処理手法を導入しています。この手法は、画像を複数のタイルに分割し、それぞれのタイルにタグを付けてモデルに認識させるもので、OCR関連のタスクにおいて精度を大幅に向上させています。
これらの設計とデータの工夫により、NVLM 1.0は視覚と言語のタスクにおいて高いパフォーマンスを示すだけでなく、テキストのみのタスクでも従来モデルを超える結果を出すことができています。
実験
この論文の実験では、NVLM 1.0モデルの性能を評価するため、複数のベンチマークでのテストが実施されました。実験は主に視覚と言語を組み合わせたタスクと、テキストのみのタスクの両方に焦点を当てています。各モデルの能力を比較するため、異なるアーキテクチャのモデル（NVLM-D、NVLM-X、NVLM-H）がそれぞれ使用されました。
まず、視覚と言語を組み合わせたタスクの評価には、複数のベンチマークが使用されました。具体的には、複雑な推論を必要とするマルチモーダル推論のベンチマーク（MMMU）、数学的推論を含む視覚文脈の問題（MathVista）、画像理解（VQAv2）、OCR能力を評価するOCRBenchなどが含まれます。これらのテストにより、各モデルが異なる種類のタスクでどのような性能を発揮するかが検証されました。
NVLM-Dモデルは、特にOCRタスクと画像理解で高い精度を示し、他のモデルに対して優位性を示しました。一方、NVLM-Xモデルはクロスアテンションを使用して高解像度画像の処理効率を高め、推論の速度と精度で優れた結果を示しました。NVLM-Hモデルは、デコーダーとクロスアテンションの両方を組み合わせた設計が特徴で、特に数学的推論や複雑な視覚的な問題で他のモデルを上回るパフォーマンスを見せました。
また、これらのモデルはテキストのみのタスクでも評価され、マルチモーダルトレーニング後にテキストのみの性能が低下するかどうかも調査されました。結果として、NVLMモデルはトレーニング後もテキストタスクでの性能が維持される、あるいは向上することが確認されました。
実験の結果、NVLM 1.0は、視覚と言語の両方のタスクで非常に高い性能を発揮することがわかり、特にOCRタスクや複雑な推論が必要なシナリオで強力なパフォーマンスを示しました。
まとめ
この論文の結論では、NVLM 1.0が多様なタスクにおいて高い性能を示し、マルチモーダルな大規模言語モデルの新たな可能性を開いたことが述べられています。特に、視覚と言語の統合が求められるタスクにおいて、NVLM 1.0は他の最先端モデルに匹敵する、もしくはそれを超える性能を発揮しました。
総じて、NVLM 1.0は、さまざまなアプリケーションに対して柔軟で強力な解決策を提供することができ、特に視覚と言語の両方を扱う高度なタスクでの利用可能性を広げる成果を示しています。この研究は、今後のマルチモーダルモデルの発展に貢献するものであり、公開されるモデルウェイトとコードがさらなる研究と応用を促進することが期待されています。
この記事に関するカテゴリー
