Health-LLM：大规模语言模型改变医疗保健未来的潜力，健康预测的新时代
三个要点
✔️ 提出新框架 "Health-LLM"：通过利用来自可穿戴传感器的多模态数据，拓展大规模语言模型在医疗保健领域的潜力。
✔️ 通过设计提示和微调提高性能：证实健康预测任务的性能显著提高。
✔️ 道德问题和未来研究方向：需要解决隐私保护、消除偏见和问责制等道德问题。
Health-LLM: Large Language Models for Health Prediction via Wearable Sensor Data
written by Yubin Kim, Xuhai Xu, Daniel McDuff, Cynthia Breazeal, Hae Won Park
(Submitted on 12 Jan 2024)
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述
近年来，大规模语言模型（LLM）在从文本生成到知识检索等各种应用中展现出了巨大的潜力。特别是一些研究，如 OpenAI 和 Singhal 等人的研究，都显示了大规模语言模型在医疗保健领域的潜力。然而，大规模语言建模在医疗保健这一敏感领域的潜力，尤其是在利用可穿戴传感器提供的多样化多模态数据方面的潜力，却鲜有人问津。由于其复杂性和时间序列性质，这类数据对于大规模语言建模来说是一个具有挑战性的课题。
本文提出了一个名为 Health-LLM 的新框架来填补这一空白。它旨在增强大规模语言模型在医疗保健领域的特定能力。本文在六个公开的健康数据集上对最先进的大规模语言模型进行了评估，并通过 13 项健康预测任务对其性能进行了测试。
在这一过程中，还进行了四种全面的尝试：零镜头提示、少镜头提示以及思维链（CoT）和自我一致性（SC）提示）、教学微调和情境增强的消融研究。
实验结果表明，大规模语言模型在医疗保健领域的任务中表现出色，尤其是在fuchsot提示和教学微调方面。尤其是 Health-Alpaca 模型，尽管规模较小，但在多项任务中取得了显著的成绩。它还表明，语境增强有助于提高大规模语言模型的性能。
这项研究为大规模语言模型在医疗保健领域的潜在应用和实现提供了策略。它为大规模语言模型如何实现更复杂的健康预测和分析，以及如何将其应用于临床实践和健康管理提供了重要见解。
技术
第一种是零点提示。零镜头提示的目的是评估大规模语言模型的预训练知识在健康预测任务中的能力。为实现这一目标，首先要设计一个基本的提示设置（bs），并以段落的形式总结可穿戴传感器数据。
- 用户背景（uc）提供用户的特定信息，如年龄、性别、体重和身高，并提供影响对健康知识理解的其他信息。
- 健康语境 (hc) 提供了控制特定健康目标的定义和公式，并为大规模语言模型注入了新的健康知识。
- 时间背景 (tc) 用于检验时间序列数据时间方面的重要性。我们使用的是原始时间序列序列，而不是汇总统计数据。根据经验，在不同的时间上下文表示法中，使用自然语言字符串的效果最好。
- 全部（all）是指在提示中将所有上下文结合在一起。
第二种是 "少量提示"（fūshot prompting）。少量提示是指在提示中使用有限的示范示例，以促进情境学习。本文采用的是三次提示设置。这些示范仅在提示中使用，模型参数保持不变。
这种方法类似于为模型提供少量案例研究，从而有助于有效捕捉和应用医疗保健领域的知识。除了 Few-Shot 提示外，它还整合了 Chain-of-Thoughts (CoT) 和 Self-Consistency (SC) 提示技术。
通过引入 "CoT "提示，学生的理解更加连贯，对上下文的理解也更加细致入微，从而使模型能够将各种观点完美地联系起来。与此同时，SC 提示通过促进内部连贯性和逻辑一致性，帮助完善了模型的响应。
第三种是指令调整。指令调整是一种在目标任务中进一步学习或微调预习模型所有参数的技术。这一过程允许模型根据新任务的特殊性调整其预先训练的知识，并优化其性能。在健康预测方面，微调可以让模型更深入地了解生理术语、机制和背景，从而提高其生成准确且与背景相关的响应的能力。
第四种是参数高效微调（PEFT）。LoRA 等方法不对所有参数进行微调，而是在预训练模型的每一层注入一个可训练的低秩矩阵，从而训练少量参数。 在 Health-LLM 的背景下，这些 PEFT 技术可使模型适应医疗保健任务，同时保持计算效率。适应医疗保健任务，同时保持计算效率。
试验
下表显示了大规模语言模型在健康预测任务中的综合性能评估结果。
STRS：压力；READ：准备状态；FATG：疲劳；SQ：睡眠质量；SR：压力耐受性；SD：睡眠障碍；ANX：焦虑；DEP：抑郁；ACT：活动；CAL：卡路里；A_FIB：心房颤动；SINUS_B：窦性心动过缓；SINUS_T：窦性心动过速。-"也代表因标记大小限制或反应不合理而失败的病例。不适用 "代表未报告预测或无法进行预测的病例。
在每一栏（任务）中，最佳结果用粗体表示，次佳结果用下划线表示；CoT 表示思维链，SC 表示自我整合提示法。对于每项任务，括号中的箭头表示改进的预期方向。↑ 表示准确率数值越高越好，↓ 表示平均绝对误差数值越小越好。
摘要
本文广泛评估了大规模语言模型（LLM）在消费者健康预测任务中的潜力，并从结果中提出了新的见解。包括最新模型 Health-Alpaca 在内的几种大规模语言模型在 13 种不同的健康预测任务中进行了性能比对，结果表明提示和模型微调尤其有助于提高性能。
然而，这项技术的应用仍有一些重要的伦理问题需要解决，如保护隐私、消除偏见和确保问责制（XAI）。需要强调的是，在实际医疗环境中应用该技术之前，还需要进一步的研究来应对这些挑战。
当前研究的局限性包括所使用数据集的质量以及缺乏对模型推断能力的详细评估。预计未来的研究将制定具体方法来解决这些问题。
最终，这项研究强调了使用大规模语言模型进行健康预测的巨大潜力，以及将其转化为现实世界医疗应用所需要克服的挑战。所提出的方向，如采用隐私保护技术和提高模型推理的准确性，是向提供可靠的医疗保健服务迈出的一步。
与本文相关的类别
