在印度开发一个专门处理高中物理选择题的 LLM 聊天机器人
三个要点
✔️ 在 MM-PhyQA 数据集上开展研究，专门针对印度高中物理选择题开发 LLM 聊天机器人
✔️ 引入了两种方法，即图像字幕和 RLHF，添加图像字幕后，LLM 的准确率显著提高。
✔️ 未来需要解决各种问题，包括验证 RLHF 的有效性、将其应用于其他领域、在实际教育环境中的使用以及伦理方面的考虑。
MM-PhyRLHF: Reinforcement Learning Framework for Multimodal Physics Question-Answering
written by Avinash Anand, Janak Kapuriya, Chhavi Kirtani, Apoorv Singh, Jay Saraf, Naman Lal, Jatin Kumar, Adarsh Raj Shivam, Astha Verma, Rajiv Ratn Shah, Roger Zimmermann
(Submitted on 19 Apr 2024)
Comments: Published on arxiv.
Subjects: Artificial Intelligence (cs.AI)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述
人工智能的发展正在改变我们的学习方式。特别是使用大规模语言模型（LLM）的聊天机器人，通过提供个性化指导和即时反馈，极大地拓展了教育的可能性。
然而，在将 LLM 应用于教育领域方面仍存在许多挑战。例如，在物理解题中，计算数学公式和理解概念至关重要，但 LLM 在这些方面表现不佳。此外，当问题陈述包含图像时，也很难适当地处理这些信息。
因此，在本研究中，我们开发了一个 LLM 聊天机器人，专门用于印度高中物理选择题。通过使用强化学习和图像字幕，我们成功地大幅提高了 LLM 的解题和推理能力。这项研究为开启人工智能时代的教育革命之门迈出了一步。
相关研究
相关研究包括视觉语言模型（VLMs）的开发：Flamingo、GPT4、LLaVA 系列和 MiniGPT4 等模型能够处理视觉和语言综合信息，在视觉问题解答任务中表现出色。它们显示了此外，VisionLLM、Kosmos-2 和 Qwen-VL 等模型的视觉接地能力也有所提高。
对于从人类反馈中强化学习（RLHF）来说，最初的重点是文本总结和问题解答等任务，但后来逐渐被应用于改进通用语言模型。从人类反馈中强化学习（RLHF）最初的重点是文本摘要和问题解答等任务，后来逐渐应用于改进通用语言模型。
就图像说明而言，它们已被证明能有效减少 LLM 流形处理的局限性和模糊性。使用图像说明可为 LLM 提供更多上下文信息，并有望提高准确性。
LLM 在教育领域的应用包括提供个性化学习材料、提高生产率和普及性。此外，还在研究开发基于 LLM 的学生助理和编程作业自动反馈。
然而，对数学教育中的 ChatGPT 进行的评估表明，在领域适应性和语境理解方面仍有改进的余地。基于这些相关研究，我们正在开发一款专门用于物理教育的 LLM 聊天机器人。
建议方法
1. 使用 MM-PhyQA 数据集
- 印度高中物理选择题数据集 - 包括问题文本、选项、正确答案和解释 - 3,700 个研究样本和 676 个测试样本
2. 添加图片说明
- 对每幅问题图像进行详细描述 - 利用 Infi-MM 模型生成图像说明 - 尽量减少幻觉和图像处理错误
3. 联合联络小组的应用
将人类反馈纳入模型学习过程 - 从 MM-PhyQA 数据集中选择 2,000 个样本并使用 5 个模型进行推理- 使用 Gemini Pro 对推理结果进行排序- 将排序最高的回应与其他回应配对以创建 8,000 个优先级数据集- 使用优先级数据集训练奖励模型（RM）- 使用 PPO 算法用 RM 更新 LLM
使用优先级数据集训练奖励模型 (RM) - 使用 PPO 算法用 RM 更新 LLM
4. 微调
- 使用 7B、13B 和 13B LoRA 大型版本的 LLaVA 1.5 模型 - 使用 MM-PhyQA 数据集进行微调 - 使用 PEFT 进行高效参数学习
图 1 是拟议方法的概览：RLHF 流程通过创建优先数据集和学习奖励模型来提高 LLM 的推断能力。
通过实验，可以比较拟议方法在以下六种情况下的性能，从而对其进行评估
1. 使用（问题文本/答案、图像、标题）进行微调
2.使用（问题文本/答案、标题）进行微调
3.使用（问题文本/答案、图像）进行微调
4. 将 RLHF 应用于 1
5.将 RLHF 应用于 2
6.将 RLHF 应用于3
试验
表 1 至表 3 显示了在上一节所述的六种实验设置中，在不使用 RLHF 的设置 1 至设置 3 的情况下，每个模型与测试数据的对比精度。
表 1 显示了仅使用问题文本、答案和图像进行微调的结果，LLaVA 1.5 的 7B、13B 和 13B LoRA 大型模型的准确率分别为 53.3%、52.7% 和 53.1%，没有显著差异。
表 2 显示了使用问题文本和答案、图像和标题进行微调的结果。添加图片说明后，准确率明显提高，LLaVA 1.5 7B、13B 和 13B LoRA 大型模型的准确率分别达到 82.52%、83.28% 和 82.1%，这表明图片说明有助于提高 LLM 性能。
表 3 显示了仅使用问题文本、答案和标题进行微调的结果。即使没有图像，使用说明也能提高准确率：LLaVA 1.5 中 7B、13B 和 13B LoRA 大型模型的准确率分别为 66.95%、64.0% 和 74.56%。
这些结果表明，图像说明在提高 LLM 成绩方面发挥了重要作用。增加图片说明可能会提高解决问题的成绩，因为它们为 LLM 提供了更多的上下文信息。
不过，本文没有介绍应用 RLHF 的设置 4 至设置 6 的结果，因此无法讨论 RLHF 的效果；预计 RLHF 的应用将进一步提高 LLM 的推理能力，但验证这一点是未来的任务。
此外，由于本研究中使用的 MM-PhyQA 数据集专门针对印度高中物理问题，因此需要进一步研究拟议方法对其他学科和难度水平问题的有效性。
结论
本研究在 MM-PhyQA 数据集上引入了图像标题和 RLHF 这两种方法，目的是开发一款专门针对印度高中物理选择题的 LLM 聊天机器人。实验结果表明，添加图片说明能显著提高 LLM 的准确性。另一方面，RLHF 的有效性还需要进一步验证。
今后，还需要解决各种问题，包括验证 RLHF 的有效性、将其应用于其他领域、在实际教育环境中使用以及伦理方面的考虑。本研究为 LLHF 在教育领域的应用提供了重要见解，有望为人工智能教育研究的发展做出贡献。
与本文相关的类别
