AI思考不平等问题!利用强化学习模拟动态制度以澄清种族差异的建议
三个要点
✔️ 对于1型糖尿病（T1D）这种类型的糖尿病，一些研究显示种族和民族差异与结果之间存在关联。
✔️ 我们使用强化学习（RL）来推导T1D的动态制度，并澄清种族差异对治疗效果的影响。
✔️ 非白人亚组在接受与白人亚组相同的糖尿病治疗方案时，平均HbA1c下降了0.33%，两个亚组之间的估计差异约有35%是由种族差异解释的。
The Impact of Racial and Ethnic Health Disparities in Diabetes Management on Clinical Outcomes: A Reinforcement Learning Analysis of Health Inequity Among Youth and Young Adults in the SEARCH for Diabetes in Youth Study
written by
(Submitted on 1 Jan 2022)
Comments: Diabetes Care.
PMID: 34728528 PMCID: PMC8753766 (available on 2023-01-01) DOI: 10.2337/dc21-0496
Readers may use this article as long as the work is properly cited, the use is educational and not for profit, and the work is not altered. More information is available at https://www.diabetesjournals.org/journals/pages/license.
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
背景介绍
人工智能能否阐明复杂的社会因素对治疗的影响？
我们将使用强化学习来模拟I型糖尿病的动态制度，目的是澄清强大的社会因素，如种族差异，对治疗的影响。
一些研究表明，1型糖尿病（T1D）的症状存在种族和民族差异：特别是黑人、美国印第安人、西班牙裔和亚洲/太平洋岛民青年和年轻人（YYA）的HbA1c（血红蛋白A1c，衡量糖尿病的指标）高于非西班牙裔白人。特别是黑人、美国印第安人、西班牙裔和亚洲/太平洋岛民青年和年轻人（YYA）的HbA1c（血红蛋白A1c，衡量糖尿病的一个标准）和早期并发症的发生率比非西班牙裔白人高。其中一个原因是，社会这部分是由于社会不平等，使非白人青年更难获得与白人同行相同的治疗制度，这表明这些健康不平等导致了治疗效果和结果的差异。另一方面，尚不清楚这些糖尿病治疗制度和技术的差异是否促成了T1D的种族差异：也就是说，没有考虑到糖尿病治疗制度以外的因素--社会决定因素：获得护理和糖尿病教育的差异；糖尿病护理的利用率较低；食物不安全等。粮食不安全--没有得到充分考虑。这项研究利用强化学习将不同种族群体的T1D治疗策略同质化，并确定治疗效果的种族差异。
什么是I型糖尿病？
本节简要介绍了1型糖尿病，它是本研究的分析对象。
糖尿病是一种血管中血糖含量高的疾病。血糖水平--血液中的葡萄糖浓度或葡萄糖--表示血液中的糖量，餐后急剧上升，然后慢慢恢复正常；另一方面，当血糖水平高时--血液中存在大量的糖--由于葡萄糖不耐受等。-相反，由于葡萄糖不耐受和其他情况导致的高血糖水平可导致血管疾病--血壁破裂、血栓形成和破裂等--以及由于血压升高等导致的内脏和大脑功能的器官损伤；特别是有许多毛细血管的器官--肾脏、大脑有许多毛细血管的器官--肾脏、大脑和肝脏--以及有大血管的器官--心脏--受损的风险迅速增加。这些高血糖水平被称为异常血糖--糖尿病。
糖尿病主要有两种类型：胰岛素分泌不足--I型糖尿病--胰腺产生较少的胰岛素将糖分带入细胞；以及胰岛素抵抗--II型糖尿病--将糖分带入细胞的大门不能正常打开。-II型糖尿病。胰岛素是所谓的 "门的钥匙"，用于将糖吸收到细胞中：在I型中，胰岛素的生产--将其吸收到细胞中的关键--减少，血管中的糖浓度增加。在I型中，胰岛素--将糖吸收到细胞中的关键--的产生减少，血管中的糖浓度增加，可能是由于胰腺产生的胰岛素数量减少，可能是由于遗传。打开细胞门的钥匙--胰岛素--不能正常运作。在美国，人口的种族多样性使人们对I型糖尿病的问题有了强烈的认识，并需要找到解决办法。
研究目标
本研究的目的是通过使用强化学习，得出考虑到种族差异的T1D治疗制度，以澄清社会因素对差异性治疗效果的影响。
虽然以前的研究表明，T1D的结果因种族而异，但一直很难澄清复杂的社会因素对治疗效果的影响。在这项研究中，我们使用强化学习来构建一个模型，以估计不同族裔群体接受相同治疗的结果，并阐明社会因素对治疗效果的影响：具体而言，我们使用基于统计信息的分布生成和倾向得分匹配来估计非白人的影响利用人口统计学上的分布生成和倾向性得分匹配，我们估计了在假设的情况下，青年接受与非西班牙裔白人青年相同的T1D治疗制度时，血糖控制和糖尿病并发症的差异。这些研究将阐明种族/民族、糖尿病制度和T1D青年的结果之间的关系，突出需要解决的问题，并促进对包括社会背景在内的因素进行干预。
方法
数据集
在这一节中，我们描述了已经分析过的数据集。
本研究中使用的数据集是从青年糖尿病研究的SEARCH中收集的，这是一项关于糖尿病的队列研究。在978名患有T1D的青少年中，47.3%为女性，77.5%为非西班牙裔白人，平均年龄为（12.8±2.4）岁。与高加索人亚组相比，非高加索人青年的胰岛素泵使用率较低（非高加索人：高加索人=1.8% vs. 11.5%，每天4次或以上）。他们做葡萄糖测试的可能性较小--非白人：白人=76.8%对84.6%。非白人和白人亚组的平均HbA1c分别为9.2%和8.2%。队列开始时调查的初始糖尿病并发症是：糖尿病视网膜病变；糖尿病肾脏病（DKD）；周围神经病变。
统计分析
在这一章中，我们描述了本研究中进行的统计处理。
这项分析是为了估计两种不同的推定T1D治疗方案对结果的影响：YYA被分为两个亚组：非白人种族/西班牙裔-非白人亚组，以及非西班牙裔白人种族-白人亚组。青年人被分为两个子组：非西班牙裔和西班牙裔的非白人子组，以及非西班牙裔的白人子组。统计分析包括两个步骤：1）对非白人和非西班牙裔白人亚组的治疗制度分布进行估计，以及2）在非白人青年接受白人亚组的治疗制度分布的假设下对结果进行估计。在这项研究中，糖尿病治疗制度包括三个变量：胰岛素给药方法、调查前和队列访问时两种SMG的频率--自我血糖监测和葡萄糖自我监测-是由三个变量组成的。
通过倾向性得分模型进行估计
在这一章中，我们描述了使用倾向性得分匹配来估计治疗制度的分布。我们从SEARCH队列的数据中建立倾向性得分模型，控制几个变量年龄、性别、SEARCH研究地点、SEARCH访问和T1D持续时间--以估计两个亚组的治疗制度分布。在分析中，采用多指标逻辑回归法将治疗选择的概率与上述协变量进行拟合，结果是治疗制度--胰岛素制度和自我血糖监测，SMG-（SMG）。在这里，我们为胰岛素模式和SMG的频率--队列前访问和队列访问--分别拟合了倾向得分模型。我们还对SMG的频率进行了不同的模型--队列前访问和队列访问。
估计糖尿病治疗方案对结果的影响
本节介绍分析的第二步，估计糖尿病治疗制度对非白人青年结果的影响。
该研究使用Q-learning（一种强化学习的形式）来估计非白人青年的平均HbA1c和并发症--糖尿病视网膜病变、DKD和周围神经病变--的风险，假设他们接受为白人亚组估计的治疗制度。这些并发症包括对于这些并发症，我们估计了不同治疗方案之间的风险差异的估计分布。构建的模型还考虑了诊断时的年龄、性别、SEARCH地点、T1D持续时间、父母最高教育程度、健康保险类型、吸烟状况、身体活动、屏幕时间和种族/民族差异，并汇总到非西班牙裔黑人-非白人子群中。-采用了指标变量，敏感性分析检查了按性别分层的模型的修改理由。
结果
在本节中，我们描述了本研究中构建的模型的评估和结果。
使用多变量倾向得分模型对糖尿病治疗方案进行估算
在这一章中，我们描述了使用倾向得分模型对动态制度的估计。
倾向性评分模型显示，非白人亚组中的YYA在治疗方案的分布上有所不同，在SMG频率方面也有所不同（见下文）。
在倾向性评分比率中，与人口水平的趋势一致（见下文），我们估计非白人人口中的每个人每天使用胰岛素泵或SMG的次数在π白人中比在π非白人中更频繁。
种族差异对糖尿病治疗方案的影响
在这一节中，我们描述了我们对种族差异影响的估计结果。
在非高加索人亚群中，高加索人治疗方案的平均HbA1c低于非高加索人治疗方案：非高加索人：9.1±0.1%；高加索人：8.7±0.1%。对非高加索人的青年进行模拟治疗制度以考虑种族差异，其估计差异为0.33%。在高加索人的治疗方案中，T1D的并发症--包括糖尿病视网膜病变、DKD和周围神经病变--发生的风险都比较低：糖尿病视网膜病变：6.0%；DKD：9.1%；周围神经病变：5.9%。
对不同种族的治疗制度差异和结果差异的估计比较
在这里，我们描述了不同治疗方案对T1D结果的影响。
根据非高加索人和高加索人的平均HbA1c的差异--0.9%--按治疗制度估计的差异约为35%--HbA1c差异的0.95%--0.33%。按照治疗方案，三种并发症发病率的风险差异如下：糖尿病视网膜病变：约269%；糖尿病肾病-DKD-71%；周围神经病变-81%。
考虑因素
这项研究旨在利用强化学习来估计T1D的糖尿病治疗方案，并确定不同种族的治疗效果差异。-虽然一些研究报告了T1D的种族差异，但这些因素往往与社会背景、获得医疗保健设施的差异和贫困差异等因素有关，这些因素掩盖了对结果的影响；因此，本研究使用RL来估计和比较T1D的结果，其假设是个人不分种族接受类似治疗。我们旨在通过估计和比较结果来澄清生物学差异的影响。在评估中，纵向队列数据将不同种族--白人和非白人--之间的治疗的基本成分进行了统一，并确定平均HbA1c降低了0.33%：这一差异具有统计学意义，占非白人和白人亚组之间HbA1c差异的大约35%。c非白种人和白种人亚群体之间。从这一结果推断，HbA1c和并发症患病率的差异反映了未测量的相关因素--机构、人际和内部的种族主义和边缘化：例如接受特定糖尿病治疗方案的障碍，支持。
这项研究的一个优点是澄清了对健康不平等的贡献。所提出的方法通过估计假设治疗方案下的结果，利用治疗制度中的分布和RL，量化糖尿病管理对健康不平等的贡献--这使我们能够在测量时确定治疗对结果的潜在影响并对治疗制度进行调整。并允许对治疗方案进行调整。
挑战包括：缺乏对种族差异的动态因素的分析；非白人青年的样本量小。包括在种族差异中的一些社会因素可能会影响糖尿病的管理和结果，包括获得医疗保健的难易程度。此外，这些社会因素中有许多在人口层面上是异质的，并随时间而变化。本研究在队列研究的背景下缺乏关于这些社会因素的数据，未来的分析将需要对此进行补偿。此外，由于本研究中非白人青年的样本量较小，特定的种族群体在分析中被混为一谈--这很可能妨碍了对不同形式的社会化和结构化种族差异的影响的考虑。此外，由于样本量有限，我们不可能在分析中考虑到交叉性的方面，这可能使我们无法正确把握各因素之间的影响。解决这些问题的一个可能的办法是进行更深入的调查，并引入小规模样本的学习方法--基于模型的学习。
与本文相关的类别
