医疗机器人极大地降低了感染率!关于在临床实践中使用机器人的协调控制方法的建议!

医疗 12/04/2022

三个要点
✔️ 关注的焦点是在可以以特定模式执行的任务中引入机器人。
✔️ 本研究旨在为直接接触COVID-19的人引进医疗机器人提供医疗服务的机器人合作模式。
✔️ 结果表明，Q-learning对时间和空间的复杂性是有效的。

A reinforcement learning based algorithm for personalization of digital, just-in-time, adaptive interventionsPrevention of Covid-19 affected patient using multi robot cooperation and Q-learning approach: a solution
written by Suat Gönül, Tuncay Namlı, Ahmet Coşar, İsmail Hakkı Toroslu
(Submitted on May 2021)
Comments: Artif Intell Med

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

背景

有可能在高感染风险的环境中引入医疗机器人吗？

基于强化学习，本研究旨在建立一种推导最佳协调政策的算法，这将有助于在传染病的第一线引入医疗机器人。

COVID-19仍然很猖獗，它通过被感染者的咳嗽和打喷嚏的飞沫以及被污染的表面来传播，从一个被感染者传播到平均三到十个人；而医护人员与病人有更多的接触，感染的风险大大增加，所以正在考虑引进机器人：具体而言，已经开始在病人护理任务中重点引进机器人--喂食、给药和供水。另一方面，描述这些机器人之间协调的报告很有限--这些机器人之间缺乏适应性协调，增加了发生故障和现场破坏的可能性，也使有效治疗难以实现。

本研究提出了一种机器人之间的强化学习协作算法，旨在通过减少医护人员对病人和感染的暴露来控制病毒的传播速度：具体来说，在受控环境中使用Q-learning构建确定性的行动选择，而每一步的根据所使用的算法和参数，使用一个目标函数对性能进行测量和训练。本研究中的机器人被假定为如下操作；将病人运送到目标床位：将病人从救护车到达后转移到可用的床位；提供药品和膳食：按时向病人提供药品和膳食；待命服务提供者：根据要求向病人提供配水等服务；在病人突然发生变化时。紧急控制器呼叫医生。

基于这些过程，本文讨论了（1）减少医务人员的暴露潜力，（2）通过部署医疗机器人减少医务人员的数量，（3）根据任务分配对医疗机器人组进行分类，（4）将强化学习方法应用于机器人路径寻找，以及（5）计算避免碰撞的路径并与之合作。它主要涉及机器人之间的合作。

什么是COVID-19？

本节简要介绍分析对象COVID-19。

COVID-19于2019年在中国武汉被发现，随后在全球范围内传播，引起了一场大流行--截至2022年，它像以前一样肆虐，包括新的变种。对于这种病毒，在感染后约四或五天--在长达两周之后出现症状。主要症状是：发烧；咳嗽；呼吸困难；昏昏欲睡；嗅觉和味觉丧失。老年人和患有心脏病和糖尿病等基础疾病的病人更有可能患上严重的肺炎，其他几代人也报告了呼吸道症状、高烧、腹泻和味觉障碍。基因测序分析报告称，该病毒与蝙蝠和塞内加尔冠状病毒相似，表明这些病毒可能经历了基因改造到2021年9月，全世界有2.2亿人被确认感染，455万人死亡。据报道，这个数字是：。它通过咳嗽和飞沫在人与人之间传播，主要通过空气传播。目前正在通过开发一种高效的疫苗来促进预防传播。

技术

问题的提出

本节介绍了本研究中要解决的问题的表述。

在这个评估中，设想并制定了在COVID-19医疗环境中工作的几个机器人--见下图。

这些机器人根据其分配的功能分为两组：。

(1) 病人转移机器人：分配两个机器人，用于将新病人从入口处转移到COVID-19大厅的目标空床。这些设备配备有图像传感器，在入口附近待命，一旦确认病人到达，就会执行抱住、定位、移动和送回病人的功能，将病人放在担架上达到目标。机器人需要满足距离约束，由担架的长度表示--如果距离约束大于这个，它将有问题把病人从一个位置移到另一个位置。在这里，Q-learning被用来计算朝向目标的每一步的下一个位置，同时避免碰撞。

(2) 服务提供者机器人：为病人提供药品、食物和水等服务，并监测其健康状况。这些都被认为是在房间里。配备了时间和温度传感器，病人的用药和进食时间由机器人来设定--描述这项任务的函数分别表示为PRO-MED（R，i，t）和PRO-SER（R，i，t）。在每个机器人，信息被存储在一个数组中，条目代表病人的时间。温度传感器感知病人的体温，并将数据传输给相关医务人员--如果发生紧急情况，可向医务人员进行视频通话，以便他们采取必要的措施。一些机器人还配备了图像和温度传感器，以监测病人的健康状况，同时倾听他们的要求。

为了避免机器人之间的碰撞，还建立了一个算法来推导出一条合适的路径--从分配给机器人的位置，计算出到达目标病人的最佳路径。这些推导是基于期望的最短路径𝐷A和实际路径𝐷C之间的差异，以及目标函数。路径的计算方法如公式1和2。

同样，机器人的目标函数也被计算出来，以最小化机器人转弯和旋转所产生的延迟成本--见下面的方程式。

运营模式

本节描述了机器人所执行的行为模型。

在建立理论模型时，COVID-19的病人大厅被定义为一个大约400 x 500像素的区域，床和机器人被排列成一个网格。该机器人有六个自由度的轮子。为了计算下一个状态，工作程序根据机器人组的不同分为两种情况：。

案例1：适用于第1组机器人的工作程序。假设两个机器人都把COVID-19的病人抬到图中称为TARGET的空床上。机器人执行以下步骤，使机器人之间的距离在一次移动中等于担架的长度。

案例2：第2组机器人目标，一个可以在所有方向移动的单一机器人，与第1组机器人类似。根据目标的距离和方向，机器人选择下一个步骤。

在这些机器人中，该算法从机器人位置/组的初始化开始。根据不同的初始化组，任务也不同：组1找到组内的合作机器人，感知病人的到来，然后向病人所在的目标移动--如果有障碍物，它更新Q表并搜索下一步；组2识别目标病人并调用FIND函数--该函数返回下一个服务的位置，避免碰撞。同样地，机器人检测到病人的请求并提供服务。该机器人还负责监测病人的健康状况--如果温度偏离阈值，就会紧急呼叫医生。

结果。

本节介绍了评估情况。

风险分析

COVID-19中的数据集被用来评估引入机器人的风险。病毒大流行利用了R naught值--从一个人到另一个人的传播速度。

这些数据集还显示，那些在COVID-19前线工作的人处于高感染风险中--见下图；另一方面，为这些人引进医疗机器人可以减少接触频率，将医护人员中的感染率降低到传统比率的2%左右。是可以减少的，这是可以实现的。

比较分析

对提议的方法和现有的方法进行了比较。这里分析了所利用的时间空间及其有效性--空间复杂性；计算复杂性。

空间的复杂性

建议的算法需要空间来存储Q表。在评估中，集COVID-19孔由N--状态数--×M--与每个状态相关的行动数的矩阵表示，所以需要一个N×M的矩阵；因此，空间复杂度为O(MN)，并且需要确定最大的Q值用于下一个状态识别。另一方面，通过设置一个存储区来存储Q值和锁定变量，空间复杂度可以降低到O(N)。

时间计算数量

Q-learning需要为每个动作访问Q表并进行M-1次比较，因此N个机器人的访问次数为N x (M - 1)，时间计算复杂度为O (MN)；而假设在实际临床实践中实施，机器人的由于行动集被限制为8个行动，常数项M可以被忽略，复杂性被抑制为O（N）。

考虑

在这项研究中，提出了一种基于强化学习的机器人引进和利用中的协作算法，目的是促进对医疗保健专业人士的支持。

为了防止COVID-19的传播，需要对医护人员和其他一线雇主采取预防措施--目前正在关注引入机器人以减少这些人的感染风险。本文建立了一个模型，以推导出部署和实施医疗机器人的最佳政策，这些机器人负责运送病人、提供食物和药品，并对医疗紧急情况作出反应：具体而言，该模型基于强化学习--Q-learning，以确定部署医疗机器人的最佳方式。推导出机器人协同工作的最佳策略。该模型被认为有很大的潜力将医护人员的死亡率降低到2%。

这项研究的优势之一是提出的推导算法，该算法注重医疗机器人的合作性。目前迫切需要解决如何防止高危人群感染COVID-19的传播问题，这种情况仍然很猖獗。在这些环境的治疗中，设想了特定的任务模式--病人运输和服务提供，这些任务可以由医疗机器人取代，以减少感染的风险，从而降低成本：这些由于这些任务需要引入多个机器人，这项研究的目的，即侧重于协作控制，被认为是新颖的。另一个优点是所使用的算法很简单。有人指出，学习过程的复杂性和学习的高成本是将强化学习引入临床实践的问题。算法越复杂，引入的难度就越大--因此，所提出的模型利用简单的RL算法，如q-learning，尽可能地减少这些成本，对于在现场和其他用途的引入具有很高的可行性。另一个可能的优势是，它可以作为一种工具，用于发展新的商业模式。

另一方面，挑战在于将机器人引入临床站点并与站点人员分享知识的成本：具体而言，引入机器人的初始投资--即购买硬件和软件--是需要的，而且在一些地区，不可能引入机器人。这方面的可能性是可以考虑的。这个问题的一个可能的解决方案是将本研究中使用的算法重构为一个在现场工作的人，而不是一个机器人，并推导出一个模型，以得出一个使感染风险最小化的最佳部署政策。此外，还假设为了有效使用医疗机器人，需要对一线工作人员的知识进行补充。这个问题的一个可能的解决方案是制定一个关于机器人使用的手册，并与专家进行合作。