用信息控制你的药物剂量!使用强化学习来研究对药物治疗依从性的影响--以及治疗动机!
三个要点
✔️糖尿病药物治疗的最佳控制需要患者在生活中的自我管理行为--如坚持服药。
✔️本研究描述了一种利用强化学习得出考虑到II型糖尿病患者个人特征的信息的方法，并通过实证实验来研究这种方法的影响。
✔️ 使用随机对照试验（RCT）的经验性研究（REinforcement learning to Improve Non-adherence For diabetes treatments by Optimising Response and定制参与（REINFORCE））。
REinforcement learning to improve non-adherence for diabetes treatments by Optimising Response and Customising Engagement (REINFORCE): study protocol of a pragmatic randomised trial
written by
(Submitted on 3 Dec 2021)
Comments: BMJ Open.
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
背景介绍
有可能通过强化学习来鼓励行为改变吗？
这项研究提出并展示了一种方法，利用强化学习并考虑到个人特点，为II型糖尿病患者推导出最佳信息，目的是提高用药依从性的有效性--促进治疗的患者行为，包括用药依从。我们目前正在进行一项试点研究。
糖尿病的最佳控制需要日常的自我管理行为，特别是坚持服药。以前的研究表明，短信在支持依从性方面是有效的，但在实现更大的有效性方面存在挑战：其中之一是短信的内容是通用的，对鼓励一些患者的行为改变不太有效；另一方面，强化学习基于代理人-环境，这些相互作用--代理人的行动选择和它与环境反馈的更新--可以用来根据个人特点优化系统。虽然已经报道了强化学习的这种应用，例如在动态制度中的应用，但很少有证据表明它被用于改善药物治疗的依从性。
本研究旨在提出一种基于强化学习的个性化短信推导方法，并测试其对II型糖尿病患者用药依从性的影响：具体而言，开发一个短信推导方案，并测试其在通过优化反应和定制参与来改善糖尿病治疗的不依从性的强化学习（REINFORCE）。这项研究的基础是开发一个程序，通过优化反应和定制参与来衍生出糖尿病治疗的不依从性。本研究的特点如下
(1) 对血糖控制不佳的II型糖尿病进行随机对照试验（RCTs），以确保稳健性和可靠性。
(2) 旨在最大限度地提高内部有效性和通用性，并允许定期收集数据
(3) 6个月的随访，评估长期用药的依从性和临床结果，如血糖控制。
什么是用药依从性？
本节简要介绍了药物治疗的依从性，这也是本研究的主题。
坚持意味着病人参与有关治疗的决定并接受相应的治疗--特别是药物治疗的坚持意味着病人主动执行药物治疗制度。传统上，医护人员对病人的评估是基于一个固定的依从性概念--病人遵循医护人员指示的程度；因此，不依从性--未能定期服药--是病人方面的问题。因此，不遵医嘱的问题--未能定期服药--被认为是病人的问题。另一方面，越来越多的报道指出，成功治疗的障碍不能用依从性的概念来解释，病人自己积极参与治疗--依从性--可能是成功的关键：也就是说，病人不依从于治疗，但愿意接受治疗。有人强调，需要摆脱病人应该顺从其治疗的想法。目前，这种以病人为中心的依从性方法正在被积极采用：特别是引入与医护人员协商的政策，以确定某种治疗对病人是否可行，依从性的障碍是什么，以及需要做什么来解决这些障碍。这一点正被越来越多地引入。
什么是II型糖尿病？
在本节中，我们将讨论II型糖尿病，这是本研究的分析对象。
糖尿病是一种血管中的血糖水平较高的疾病。血糖水平--血液中葡萄糖的浓度，是衡量血液中糖分多少的一个指标，它被用作能量，在餐后迅速上升，然后慢慢恢复正常。另一方面，如果血糖水平居高不下--由于葡萄糖不耐受或其他情况--这可能导致血管损伤--血壁破裂、血块形成或破裂等，这反过来又会导致器官损伤，如器官和大脑功能增加和血压升高。器官损害的发生率迅速增加，特别是有许多毛细血管的器官--肾脏、大脑和肝脏，以及有大血管的器官--心脏。这些高血糖水平被称为血糖异常 - 糖尿病。
糖尿病是由两个主要因素引起的：胰岛素分泌低下--I型糖尿病--胰腺不能产生足够的胰岛素将糖分带入细胞；以及胰岛素抵抗--II型糖尿病--将糖分带入细胞的大门不能正常打开。-II型糖尿病。胰岛素是所谓的 "门钥匙"，用于将糖吸收到细胞中：在I型中，胰岛素--吸收到细胞中的钥匙--的生产减少，血管中的糖浓度增加。其原因被认为是胰腺产生的胰岛素数量减少，可能是由于遗传造成的；而在II型中，血糖的过度上升超过了细胞的耐受力，打开细胞门的钥匙--胰岛素--未能正常发挥作用。在现代，II型糖尿病一般被称为糖尿病，因为它往往是由暴饮暴食和肥胖等生活方式因素引起的。糖尿病是通过日常生活中的自我管理行为来控制的，如体育锻炼和保持健康体重；特别是坚持使用血糖控制药物，如胰岛素-重点是坚持用药。
研究目标
这项研究的目的是开发和展示一个系统，该系统使用强化学习来得出针对个人的优化信息，目的是提高II型糖尿病患者坚持用药的有效性。
在用药依从性方面，一些研究表明，使用短信，包括提醒信息，可以有效地激励患者参与治疗，促进健康行为；但在糖尿病方面，短信的有效性尚未被调查。这种方法根据过去的行为为个人定制内容，预计会导致更大的行为改变。因此，本研究旨在通过使用强化学习来得出考虑到个人特征的信息，并评估干预措施的有效性，以澄清优化信息的有效性。
方法
本章介绍了所提出的方法和示范方法--通过优化反应和定制参与来改善对糖尿病治疗的不依从性的强化学习。参与：REINFORCE - 测试。
首先，我们描述了REINFORCE研究--设计和分析方法--它是拟议方法的示范。
这是一项双臂随机对照试验，旨在评估REINFORCE试验中使用强化学习定制的短信对2型糖尿病患者服药依从性的影响（见下文）。
该研究的目的是调查定期短信对18-84岁被诊断为2型糖尿病并被开具一天一次或三次糖尿病口服药的患者的用药依从性的影响。
从研究方案（见下文）来看，每两周一次的EHR--电子健康记录--将被用来识别符合条件的病人，并选择不希望被要求参与的病人。然后将邮寄基线调查表和用于给药的电子药瓶：电子药瓶在以前许多关于依从性的研究中被使用，是衡量依从性的主流。瓶子的数据是通过移动设备上的一个应用程序传输的。然后将受试者按1:1的比例随机分配到干预组和对照组--这种随机分配的依据是
(1) 基线自我报告的依从性水平，特别是在过去30天内少于一剂或多于一剂的漏服；以及(2) 基线HbA1c小于或大于9%。在6个月的随访结束时，会通过短信与患者联系，要求他们完成一份随访问卷。
该研究的目的是调查定期短信对18-84岁被诊断为2型糖尿病并被开具一天一次或三次糖尿病口服药的患者的用药依从性的影响。
介入
在这一章中，我们描述了我们将在示范中使用的干预措施。
干预措施的核心是一种强化学习算法，该算法根据电子药瓶的数据对每日短信进行个性化宣传（见下文）。
该算法预测病人最有可能接受哪些短信，并得出相应的短信--每条短信的有效性是根据病人在第二天早上是否真的服药来评估的。不会向对照组发送短信。将使用基于行为科学的调查问卷来调查传递给患者的短信是如何影响他们的行为的--他们是否提高了对药物治疗的依从性？从这些定性访谈的反馈中，我们确定了应纳入信息中的五个要素：。
(1) 定格为中性、积极或消极。
(2) 观察反馈：在短信中包括有证据表明病人在过去一周内服药的天数--0-7天。
(3) 社会强化：在文本中提及熟人
(4) 内容的性质：用药提醒、用药和生活方式的信息
(5) 设计文本，包括反省，如反省问题。
在此基础上，我们设计了包含从以前的研究和其他来源中选出的五个因素的各种要素的短信（见下表）：具体来说，包括积极的框架、观察反馈、社会强化、提醒内容，以及不包括反思的短信，是1构成一组因素--下表的文本8--。试验中的每一组因素都至少包含两条短信：共开发了128条短信，包含47种因素组合。
强化学习算法
在这一章中，我们描述了干预中的强化学习算法。
这个考试利用了微软Azure，它符合HIPAA--健康保险可携性和责任法案--并整合了三个要素：1。
(1) 每天从Pillsy服务器检索电子药瓶数据
(2) REDCap患者数据每日更新，预测因素--年龄、性别、用药数量、基线HbA1c和患者激活情况
(3) 微软Personaliser上公开的强化学习预测模型算法。
预测器每天都会更新病人的数据：新病人入院、使用电子药瓶停用糖尿病药物、增加新药物，以及计算依从性所需的药物数量。它还计算了前一天的用药依从性，方法是将病人打开药瓶的次数除以处方次数--根据基线时REDCap数据收集的评估，每天一次或两次：依从性数值从0到1意味着奖励。从0到1的坚持值代表了奖励--来自环境的反馈--并被训练成这些值的总和为最高，在多种药物的情况下，这些值被平均到一起。
强化学习启动随机短信建议，并观察个人反馈和随后的用药依从性--随着时间的推移，它开始预测病人收到的信息中应包括哪些因素：除了用药依从性奖励之外除了基线特征外，我们还预测短信中每个因素的发送天数--这样类似的短信就不会连续发送--以及病人是否更早服药--在同一日历日和当天早上的短信预测之前。在同一日历日内。如果没有收到依从性奖励--没有收到来自病人药瓶的数据--那么就根据迄今为止的依从性奖励来预测信息。在试验过程中，10%的预测将被随机挑选出来，作为模型训练的目标。每天使用Microsoft Dynamics 365 SMS Texting发送短信，这是一个由BWH管理的符合HIPAA的第三方平台。
除了强化学习中规定的信息外，我们还在随机化当天发送一条介绍性短信，如果你超过7天没有连接，则发送一条提醒短信，并在随访结束时发送一份最后的调查问卷
总结
在本章中，我们描述了示范中使用的成果。
主要结果（见下表）是随机化后6个月的用药依从性评估：以每个病人从随机化后一天到随机化后183天的平均每日用药依从性衡量。
次要结果将包括随访结束时由HbA1c和自我报告的坚持用药情况评估的血糖控制变化。将使用随访结束时最接近的数值--HbA1c大约每3-6个月测量一次，因此预计会包括缺失的数值。
分析报告
在本章中，我们描述了对示范的分析。
在随机化之前，变量的平均值和频率将被分为干预组和控制组，这些数值将使用绝对标准化差异进行比较。对所有随机参与者的结果也将采用意向治疗原则进行评估。
在初级分析中，我们使用相同的链接函数和正态分布误差，为依从性和血糖控制引入一个通用的估计模型--对于自我报告的依从性，我们使用对数链接函数和泊松分布误差来计算干预组和对照组的依从性和血糖控制的相对风险。将计算干预组和对照组患者比例的相对风险。 在二级分析中，我们调整了两组之间的任何基线变量差异，尽管是随机的。
敏感性分析--分析一个变量的变化对结果的影响--将排除停止使用电子药瓶超过30天的病人。将对构成自我报告量表的三个项目中的每个项目评估HbA1c从基线的变化和自我报告的坚持之间的差异。还将对血糖控制--HbA1c--和自我报告的依从性进行完整的个案分析，并按年龄、性别、种族/民族、基线HbA1c、基线自我报告的依从性和研究药物的数量进行分层的亚组分析。研究药物的数量。在试验结束时，干预患者将根据他们对不同短信因素的反应进行分组，并利用随机化前的基线信息评估预测这些分组表型的能力。
考虑因素
本研究的目的是考察基于强化学习的个性化短信对II型糖尿病患者用药依从性的影响。健康行为干预需要根据个人的需求和行为倾向进行调整，强化学习有望能够发现个人的反应模式，并据此制定个性化政策，得出最适合个人的沟通方式；而药物治疗另一方面，坚持是一个问题，强化学习被实施的报告很少，其效果也不清楚。在这项研究中，我们开发了一种文本推导方法，并进行了一项实证研究--REINFORCE，包括一项RCT，以研究基于强化学习的短信对II型糖尿病患者用药依从性的影响。
之前的研究已经引入了强化学习来改善健康结果：例如，对II型糖尿病患者使用了不同的短信方法来测试其对运动的影响；对糖尿病患者的干预措施改善了体育活动还有一个对糖尿病患者进行干预的案例研究，通过利用非适应性--没有针对个人进行优化--的方法，体力活动增加了20%以上（P<0.001）。另一方面，这些可能会达到更高的效果，因为病人收到的信息不是个性化的。另外，由于短信的成本较低，而且可以介绍给到医院就诊的病人，预计优化后的短信会取得相对较高的效果。
这项研究可能面临的挑战包括：次要结果的缺陷；电子药瓶的影响；缺乏普遍性。首先，次要结果可能存在缺陷，如自我报告的依从性。在现实生活中的调查中，经常使用自填式问卷，这些结果可能会因为忘记写下而缺失；因此，在本研究中，我们使用估算法--一种缺失值补足法--来在这项研究中，我们使用了代入法--一种针对缺失值的完成方法--来完成数据。另一项措施可以是在数据收集过程中由一个以上的人检查是否有遗漏。其次，干预措施中使用的电子平板瓶可能会产生影响。由于电子药瓶可以准确地测量实际剂量，监测会导致观察者了解所服用的药物数量，这可能会导致偏见，例如在随机分配方面；本研究通过在对照组和干预组中引入电子药瓶来解决这个问题。第三，缺乏通用性：它可能无法扩展到短信难以触及的情况，例如只有糖尿病前期的病人。因此，解决方案可能是对这些病人使用连续的对话系统，而不是信息。
与本文相关的类别
