[Qwen2-VL] 可处理不同分辨率图像和视频的最新 VLM

大型语言模型 01/10/2024

三个要点
✔️ Qwen2-VL 借助 Naive 动态分辨率技术有效处理不同分辨率的图像和视频
✔️ M-RoPE 技术整合了视觉数据和文本信息定位，可用于复杂任务。
✔️ 72B 型号通过多语言支持和高精确度解决了各种任务，并增强了图像和文本的综合处理能力

Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution
written by Peng Wang, Shuai Bai, Sinan Tan, Shijie Wang, Zhihao Fan, Jinze Bai, Keqin Chen, Xuejing Liu, Jialin Wang, Wenbin Ge, Yang Fan, Kai Dang, Mengfei Du, Xuancheng Ren, Rui Men, Dayiheng Liu, Chang Zhou, Jingren Zhou, Junyang Lin
(Submitted on 18 Sep 2024)
Comments:Code is available at this https URL
Subjects:Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI); Computation and Language (cs.CL)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

背景

本文提出了一种名为 Qwen2-VL 的模型，它既能理解视觉信息，也能理解文字信息；Qwen2-VL 的特点之一是采用了一种名为 "动态分辨率适应 "的新技术，该技术使 Qwen2-VL 能够有效地处理各种分辨率的图像和视频。

传统的视觉语言模型（LVLM）只能处理固定分辨率的图像，而更高分辨率的图像往往会丢失重要信息。为了克服这一问题，Qwen2-VL 可根据输入图像的大小进行优化处理，即使在高分辨率图像中也能准确捕捉细节。

Qwen2-VL 还采用了一种名为 "多模态旋转位置嵌入"（M-RoPE）的技术，使模型能够有效地整合和处理来自图像、视频和文本的位置信息。这不仅提高了模型理解图像和文本的能力，也提高了模型理解视频中复杂场景和动作的能力。

建议方法

本文提出的 Qwen2-VL 方法旨在整合视觉和语言信息，实现高级识别。尤其是一种名为 "Naive Dynamic Resolution"的新机制，可以不受图像或视频分辨率的限制，进行灵活处理。传统的视觉语言模型（LVLM）只能以固定的分辨率处理图像，这可能导致更高分辨率图像的细节丢失，但 Qwen2-VL 解决了这一问题。

首先，Qwen2-VL 使用 "视觉转换器"（ViT）来处理图像。视觉转换器由 675M 个参数组成，适用于任何规模的模型。该转换器处理视觉数据，并结合语言模型（LLM）解释所获得的信息。它还包含一种机制，可将图像压缩为适当数量的标记，并有效地提取信息，即使待处理图像的分辨率很高也是如此。

其次，Qwen2-VL 采用了多模态旋转位置嵌入（M-RoPE）技术。该系统不仅能处理普通的一维位置数据，还能处理时间和空间的位置数据，以及多维度的文本和图像。这使系统能够处理视频等动态数据，大大提高了捕捉场景变化和时间流逝的能力。

此外，Qwen2-VL 采用统一图像和视频理解机制，能以一致的方式处理图像和视频。这确保了短视频和 20 分钟以上的长视频都能被正确理解。特别是，帧与帧之间的时间联系和图像中的详细位置信息都能得到有效处理。

Qwen2-VL 的优势在于，随着模型规模的扩大，精确度也会提高。特别是，72B 的大型模型能够执行高度复杂的图像和视频任务，并在各种基准测试中表现出最先进的性能。例如，它在 DocVQA 和 MathVista 等数据集上的表现优于许多其他模型。

试验

本文进行的实验测试了 Qwen2-VL 模型在各种视觉和语言任务中的表现。实验的目的是了解所提出的技术与其他现有模型相比效果如何。

首先，使用几个基准数据集对该模型进行了评估。具体来说，对视觉问题解答（VQA）、文档识别、视频理解甚至数学推理等一系列任务的性能进行了测量。例如，在 DocVQA 和 InfoVQA 等与文本识别相关的数据集上，Qwen2-VL 的准确率超过了最先进的模型。特别是，72B 这么大的模型已被证明能够高精度地理解文档中的文本。