建议采用混合优先优化方法，彻底改变多模态 LLM 的推理性能！
三个要点
✔️ 提出了一种混合优先的优化方法，以提高多模态大规模语言模型的推理性能
✔️ 模型能够更有效地处理不同的数据类型，从而提高推理性能
✔️ 该方法在需要高级推理能力的任务中表现出更高的性能。
Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization
written by Weiyun Wang, Zhe Chen, Wenhai Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Jinguo Zhu, Xizhou Zhu, Lewei Lu, Yu Qiao, Jifeng Dai
(Submitted on 15 Nov 2024 (v1), last revised 7 Apr 2025 (this version, v2))
Comments: Published on arxiv.
Subjects: Computation and Language (cs.CL); Computer Vision and Pattern Recognition (cs.CV)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
摘要
本文介绍了混合优先优化法，作为提高多模态大规模语言模型（MLLM）推理性能的一种方法。具体来说，本文重点探讨了整合不同来源输入的方法。
虽然 LLM 通常主要是在文本数据上进行训练，但据说它们也可以利用不同的模态信息（如视觉和音频）来实现更复杂的推理。这项研究解决了结合这些不同模式所面临的挑战。
混合优先优化是一种调整学习重点的技术，以便模型能在新的推理任务中做出更准确的回答。论文表明，这种技术可以提高模型的性能，并证明了它在一般问题解答和复杂推理任务中的有效性。
实验结果证实，该技术能使模型在多个领域产生更准确、更可靠的结果。研究结果可为 MLLMs 的未来发展提供重要依据。
建议的方法
本文提出了一种新方法来提高多模态 LLM 的推理能力。具体来说，本文采用了一种称为混合偏好优化（MPO）的方法。该方法旨在通过允许模型针对给定任务纳入多种评估标准来提高性能。
MPO 首先创建一个大型多模态评估数据集 (MMPR)，然后用于训练模型。该数据集旨在提高模型整合不同视觉和文本信息以做出决策的能力。在训练过程中，模型在不同的样本上进行评估，并根据不同的评估标准进行优化。
实验
这项研究的目的是提高多模态大规模语言模型（MLLM）的弱推理能力。
传统模型擅长整合文本和图像，但在排序链（CoT）推理（即在解释原因的同时得出正确答案）中表现不佳。
研究团队首先建立了一个新的大规模推理偏好数据集（MMPR）。该数据集可为正确答案明确的任务生成大量模型答案，并自动将那些接近正确答案的答案标记为 "好例子"，将那些离群的答案标记为 "坏例子"。
该系统还包含一种将不完整答案作为 "坏示例 "的机制，即在正确答案未知的情况下，将答案从中间截断，让其余答案完整。此外，我们还提出了一种名为混合偏好优化（MPO）的新学习方法，它不仅能学习哪个答案更好，还能设计出一种方法来同时学习答案的质量和生成答案的过程。
这种方法可以让模型灵活处理各种推理模式，并显著提高推理性能。在实验中，该模型在 MathVista 等基准测试中取得了比传统模型更高的准确率。
结论
本文讨论了提高处理多种信息的 LLM 推断能力的新方法。通常，LLM 是在大型数据集上进行训练的，但本文提出了一种通过 "混合优先优化 "使 LLM 执行更高级推理的方法。
具体来说，本文开发了一种方法来高效地教授模型，尤其是在资源有限的情况下，以便在一系列任务和数据集上获得一致的性能。该方法旨在让 LLM 以多方面的方式处理不同形式的数据，如音频和图像。结果表明，该方法能增强从文本中得出的推理能力，减少错误信息并提高响应准确性。
论文介绍了为评估所提方法的有效性而进行的几项基准测试，与现有模型相比，测试结果有所改进。这表明该方法可能有助于 LLM 的进一步发展。
与本文相关的类别
