OnGoal：可视化 LLM 对话目标的新聊天界面

01/10/2025

三个要点
✔️ OnGoal 是一个用于推理、整合、评估和可视化用户在 LLM 对话中的目标的界面
✔️ 目标实现状态以颜色和时间轴显示，从而更容易跟踪较长对话的进展
✔️ 20 人实验表明，OnGoal 用户更加灵活，同时减少了认知负荷证实了采用灵活对话策略的趋势。

OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models
written by Adam Coscia, Shunan Guo, Eunyee Koh, Alex Endert
(Submitted on 28 Aug 2025)
Comments: Accepted to UIST 2025. 18 pages, 9 figures, 2 tables. For a demo video, see this https URL
Subjects:Human-Computer Interaction (cs.HC); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

总结

近年来，与 LLMs 的互动已扩展到 "多轮 "方法，即通过多次互动来实现目标。
然而，在长时间和复杂的对话之后，用户很容易忘记自己的对话目标，从而难以检查自己的成果和安排自己的进度。
特别是当目标在对话中途改变或多个请求重叠时，很难确定哪些请求得到了满足，哪些请求被忽略。

在此背景下，本研究提出了一种名为 "OnGoal "的新聊天界面。
OnGoal 实时跟踪和可视化用户的目标，并清楚地显示哪些回复与哪些目标相对应。

对 20 名用户进行的用户实验证实，与传统聊天相比，OnGoal 提高了目标管理的效率，并让用户有机会采用新的交互策略。结果证实，与传统聊天相比，OnGoal 提高了目标管理的效率，并为用户提供了采用新互动策略的机会。

建议的方法

OnGoal 的核心是一个称为 "目标管道 "的三阶段流程。

在第一阶段 "推理 "中，从用户的话语中提取对话目标，如问题、请求、建议和提议。
第二阶段是 "整合"，对新旧目标进行比较，并通过合并相似目标、替换矛盾目标和保留独特目标来组织目标。
第三阶段是 "评估"，确定生成的 LLM 响应是否满足、忽略或违背每个目标，并提出理由和证据句子片段。

在用户界面方面，有一个 "目标字形"，用于在聊天字段中以彩色编码显示目标实现状态；一个 "时间轴"，按时间顺序显示历史记录；以及 "个人视图"，用于显示每个目标的详细历史记录。

此外，结合文本高亮功能，LLM 可以立即识别符合或偏离目标的领域。
这些创新让用户可以直观、高效地管理自己的目标，同时保持传统的线性聊天体验。

实验

为了测试系统的有效性，我们对 20 名参与者进行了对比实验。
参与者被分为两种情况，一种是使用传统聊天界面，另一种是使用 OnGoal。

任务是一项写作任务："创作一篇文章，同时满足两位上司的不同写作要求"。
每位上司都提出了有关文体、说服力和形象语言的三个具体目标，要求参与者在使用 LLM 生成文章时评估和检查自己的进度。

分析结果表明，OnGoal 用户花了更多时间检查目标的进展情况，而阅读文章的负担则有所减轻，总体上减少了认知努力。
此外，OnGoal 的可视化和解释功能使参与者能够设计出比以往更灵活的目标交流方式，并尝试新的策略来消除误解。
另一方面，评估过程被认为是需要进一步改进的地方，因为当评估结果与直觉不同时，可能会造成混乱。

总之，OnGoal 有助于提高目标管理的效率，并显示出用户主动控制对话的潜力。