同时考虑到多个治疗目标和个人特点!　使用深度强化学习的糖尿病治疗决策模型建议!

医疗 28/03/2022

三个要点
✔️ II型糖尿病--T2DM--和并发症很可能是可以通过疾病管理来预防的，同时需要考虑到T2DM治疗政策中治疗目标的多样性和政策决定中患者的个体差异。
✔️ 本研究提出了一个基于深度强化学习的T2DM治疗策略推导模型，考虑到了个体特征和治疗对象的多样性。
✔️ 评估结果证实，所提出的治疗策略导致血糖、血压和血脂控制在适当范围内。

Effective Treatment Recommendations for Type 2 Diabetes Management Using Reinforcement Learning: Treatment Recommendation Model Development and Validation
written by Xingzhi Sun, Yong Mong Bee, Shao Wei Lam, Zhuo Liu, Wei Zhao, Sing Yi Chia, Hanis Abdul Kadir, Jun Tian Wu, Boon Yew Ang, Nan Liu, Zuo Lei, Zhuoyang Xu, Tingting Zhao, Gang Hu, Guotong Xie
(Submitted on 22 Jul 2021)
Comments: J Med Internet Res

本文所使用的图片来自于论文，来自于介绍性的幻灯片，或者是在参考了这些图片后制作的。

背景

考虑到个体特征和不同的治疗目标，是否有可能得出一个最佳治疗策略？

这项研究旨在建立一个模型，用于推导出II型糖尿病的治疗策略，该模型以强化学习为基础，可以适应个体特征和多样化的治疗目标。

2型糖尿病--T2DM--是一种以高血糖状态为特征的慢性疾病，导致多种并发症并增加死亡风险。虽然这些并发症很可能是可以通过疾病管理来预防的，但由于个体特征的影响很大，以及治疗目标的多样性，推荐治疗和实际治疗之间的差距已经被发现--很难确定统一的治疗策略，需要进行个体化治疗。越来越多的人需要此外，糖尿病是一种需要长期治疗的慢性病，由于以下因素，使决策更加复杂：。

(1)单一治疗的效果不能立即反映出来；(2)病人接受的治疗方案选择范围很广。

在此背景下，本研究旨在构建一个模型，利用强化学习（RL）得出一个可以考虑到个人特征和各种治疗目标的最佳政策。

什么是II型糖尿病 - T2DM？

首先，对本研究的分析对象--II型糖尿病作一简要说明。

血糖水平指的是血液中葡萄糖--糖和葡萄糖--的浓度，表明血液中含有多少糖。它们被用作日常活动的能量，在餐后急剧上升，然后慢慢恢复正常。另一方面，如果由于糖耐量异常等因素导致血糖水平居高不下--血液中的糖量，就会发生血管损伤--血管壁破裂，血栓形成和破裂等。此外，对内部器官、大脑功能和血压的影响增加了重大损害的可能性，特别是在有许多毛细血管的器官--肾脏、大脑和肝脏，以及有大血管的器官--如心脏。它们包括。这种血糖水平高的情况被称为血糖水平异常--糖尿病。

糖尿病是由两个因素引起的，并根据这些因素有不同的叫法：胰岛素分泌减少的症状，这是胰腺功能受损的结果，导致分泌的胰岛素数量减少，使糖进入细胞--胰岛素分泌不足，I型糖尿病；糖门进入细胞不畅的症状，这导致了不开放的症状 - 胰岛素抵抗，II型糖尿病。胰岛素就像一把让糖进入细胞的 "钥匙"，在前一种情况下，"钥匙 "的分泌减少，血管中的糖浓度增加--人们认为原因是胰岛素分泌减少，主要是在胰腺，有人认为遗传是原因；而在后一种情况下，过度的血糖导致打开细胞门的钥匙失效--这一因素通常归因于暴饮暴食和肥胖等生活习惯。II型糖尿病一般被称为糖尿病。

研究目标

本研究旨在利用强化学习，构建一个考虑到个人特征和各种治疗目标的治疗政策的推导算法。

在T2DM的治疗中，不同的治疗目标和个体差异的影响使得统一的治疗决策变得困难，需要进行个体化治疗。本研究旨在构建一个学习模型，利用RL得出一个反映个人特征并能考虑到多种治疗目标的最佳治疗政策：具体来说，它旨在开发一个电子病历-EMR-该模型是通过应用深度RL算法建立的，利用了一个数据集。针对T2DM的三个治疗目标进行培训：抗高血糖治疗、抗高血压治疗和降脂治疗。

技术

本节对该模型进行了概述。

数据集

所用的数据是从新加坡卫生局糖尿病登记处收集的，其中包括189,520名T2DM患者，包括2013至2018年的6,407,958次门诊。该数据集包括三个治疗指南的研究训练数据--抗血糖、抗高血压和降血脂治疗--80%，152,527名患者--以及评估这些治疗效果的测试。数据--20%，36993名患者--被分成两类。每位患者的EMR数据包括人口统计信息、病史、身体测量、实验室数据和医生处方，以及实验室数据，如糖化血红蛋白A1c - HbA1c -、低密度脂蛋白胆固醇 - LDL-c-，空腹血糖水平等都包括在内。

临床结果

在这个模型中建立了两类临床结果：短期和长期：短期结果包括血糖控制、血压控制、血脂控制和低血糖相关的入院治疗；长期结果包括心肌梗死、心力衰竭、中风-缺血性和出血性中风。定义了糖尿病并发症和死亡的发生，包括糖尿病肾病。

拟议模型

所提出的模型以发病时的临床信息为输入，以三类治疗为输出，得出最佳治疗策略--降糖药、降压药和降脂药--输入包括人口学信息、实验室数据、身体测量、病史和当前的处方三类药物的建议。三个模型的输出结果结合起来，建立一个模型，提出综合治疗建议。

该模型还结合了知识驱动和数据驱动模型，以解决个体特征和多种治疗目标，目的是建立一个更灵活的推导模型：在前者，基于临床指南和专家经验的模型被应用于选择候选药物；以及后者根据候选药物的临床疗效，在深度RL的基础上进行排名，以得出各种治疗策略。在这些模型中，前者的知识驱动模型首先被应用于选择候选药物，然后后者的数据驱动模型被用于根据临床结果对候选药物进行排名--见下图。

建议模型中的奖励功能--下面的方程式--是根据以下准则设计的：给予奖励的条件是：（1）3-6个月后的HbA1c达到控制目标--<7%--和（2）。如果在未来6年内，直到患者最后一次就诊前没有发生并发症或死亡；受罚的情况包括：（1）3-6个月后HbA1c未得到充分控制，（2）未来6个月内发生低血糖事件，以及（3）本次就诊后出现并发症或死亡。设置了以下内容。

评估方法

本节介绍了本研究的评价方法--评价设定了两个角度，即短期和长期。

为了进行短期评估，我们构建了一个多变量回归模型，以模型的一致性作为暴露因素，以及医生的处方和模型推荐的药物之间的一致性程度。两组在血糖、血压、血脂控制和低血糖事件方面的目标实现率方面进行比较，以评估短期结果；而在长期评估方面，模型一致性被列为独立变量，以评估抗高血糖、抗高血压和降脂药物的联合治疗。在这里，模型一致率的计算方法是将有一致治疗方案的咨询数量除以咨询总数。这项措施旨在量化每个病人遵守模型建议的程度。

结果。

本节介绍本研究的评价结果。

对照短期成果进行评价

对于短期结果的评估，模型的一致性被用作暴露变量，治疗建议模型的效果是在接受者层面上评估的。测试数据涵盖了不同的短期结果--在治疗3-6个月后，HbA1c<7%、SBP/DBP<140/90 mmHg和LDL-c<2.6 mmol/L的患者比例。评估结果显示，在43.3%的被分析患者中，模型中推荐的降糖药物的治疗策略与医生的实际政策一致；而在整个患者中，降压药和降脂药的一致性率分别为51.3%和58.9%。另外，对于每个治疗策略和改善预后，血糖控制--几率[OR]1.73，95%CI 1.69-1.76，血压控制--OR 1.26，95%CI 1.23-1.29。-，血脂控制--OR 1.28，95%CI 1.22-1.35）--，证实了所提模型的预后效益。

根据长期结果进行评估

为了评估长期结果，对所有患者的抗高血压、抗高血脂和降脂治疗的模型一致性率和长期结果的发生率--见下图--进行了评估：发现模型一致性率与并发症和死亡的发生率之间呈负相关关系。模型一致性越高，并发症和死亡的发生率越低，表明

在多变量回归中还评估了抗高血压、抗高血脂和降脂药物联合治疗的模型协议对减少三种治疗的并发症和死亡风险的影响。结果证实，基于XGBoost的预测模型优于临床基线模型，显示接受者操作特征曲线下面积为0.71-0.87。此外，每种治疗方法的模型吻合率与主要并发症和死亡的发生呈负相关--这些结果表明，接受与模型建议更接近的治疗的患者更可能出现糖尿病并发症--即大血管并发症和微血管并发症。- 并减少死亡的风险。

考虑

这项研究利用了一个大型数据集，从一个医疗集群中收集到的数据，并提出了一个推导治疗策略的模型，考虑到了T2DM的个人特征和多种治疗目标。评估结果显示，在43.3%的病例中，根据提议的模型，抗高血糖药物与实际处方相同。此外，对治疗建议的评估显示，血糖--OR 1.73--、血压--OR 1.26--和血脂--OR 1.28--被控制。和糖尿病并发症的风险仍然很低--这些评估的结果表明，拟议的模式很可能导致开出能够取得更好结果的药物。还发现了一种改善长期结果的趋势，包括死亡风险，这表明所提出的模型对于降低糖尿病并发症的风险和改善临床结果是有用的。

本研究有两个优点：第一，用于模型建立和评估的数据集质量高。本研究利用的数据集包括一个大型患者群体的医疗记录--电子医疗记录--并包括不同类型的糖尿病并发症--大血管和微血管--来自一个为期6年的研究。在如此规模的数据集上进行学习和评估的先例有限，这是本研究的独特之处；其次，它涵盖了糖尿病的全面治疗策略。该研究涵盖了三种类型的治疗--降糖、降压和降脂疗法--并评估了两类结果：短期内关键指标的控制和长期内糖尿病并发症的发展。这些评估可以为糖尿病治疗政策提供一个更通用的衍生模型。

另一方面，已经确定了两个主要的挑战：由于EMR造成的偏差；以及设定统一的治疗目标。由于这项研究是基于T2DM患者的EMRm，它可能缺乏影响处方选择的信息--例如为不愿意换药的患者重复以前的处方。本研究中使用的数据集没有记录这些患者的偏好，可能会对治疗策略产生偏差--因此，解决方案可能包括额外的研究，以包括这些偏差和设计线性模型来考虑混杂因素。其次，由于本研究采用了统一的治疗目标，HbA1c的目标值可能并不准确--根据病人的情况，可能并不严重。一个可能的解决方案是进行一项更注重个人特征的研究，比如针对一个动态制度的研究。