什么疏散能维持社会距离!使用深度强化学习推导社会距离感知的疏散政策的拟议算法!

医疗 31/03/2022

三个要点
✔️ COVID-19大流行指出了保持社会距离的重要性。
✔️建立一个模型，利用强化学习来得出紧急情况下疏散活动的最佳准则，并考虑到这种社会距离。
✔️评估结果证实，与传统算法--Sweep算法相比，所提出的模型可以得出高效的路由。

Routing algorithms as tools for integrating social distancing with emergency evacuation
written by Yi-Lin Tsai, Chetanya Rastogi, Peter K. Kitanidis, Christopher B. Field
(Submitted on 5 Mar 2021 (v1), last revised 13 Oct 2021 (this version, v4))
Comments: Published on arxiv.
Subjects: Artificial Intelligence (cs.AI); Computers and Society (cs.CY); Human-Computer Interaction (cs.HC); Machine Learning (cs.LG)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

背景

是否有可能在考虑到社会距离的情况下推导出最佳疏散路线？

这项研究旨在利用深度强化学习，在考虑到社会距离的情况下，针对COVID-19中大流行病等情况下发生的灾害--即地震和台风--推导出最佳疏散政策。

对仍在肆虐的COVID-19保持社会距离仍将是至关重要的；而灾害--如洪水、野火、地震、山体滑坡--甚至在大流行期间也可能发生。事实上，据报道，几十年前，流感、SARS-CoV-1和SARS-CoV-2等传染病的爆发增加与气候变化有关。即使在COVID-19汇合后，为下一次大流行做准备仍然是必要的。因此，有必要明确未来大流行病的疏散政策，在复杂的备灾和应对中考虑到社会距离。

这项研究的目的是建立一个RL模型，可以改善复杂事件中的疏散行动，包括大流行病和预测的灾害--即地震和海啸：具体而言，需要延长疏散时间和疏散的紧急车辆数量。研究了社会距离增加的作用，并开发了一种算法，与非DNN方法--Sweep算法相比，利用基于深度强化学习的优化车辆路由，提高了疏散效率。虽然该算法需要先验的操作规则来确定疏散人员的运输，但深度强化学习可以根据环境/代理人的行为选择来学习策略，并搜索最佳路线。

什么是COVID-19？

首先介绍了本研究分析的对象--COVID-19。

COVID-19于2019年在中国武汉被发现，随后在全球范围内传播，引起了一场大流行。症状在病毒感染后约四或五天出现--最多两周后。主要症状是：发烧；咳嗽；呼吸困难；昏昏欲睡；嗅觉和味觉丧失。老年人和患有心脏病和糖尿病等基础疾病的人更有可能患上严重的肺炎，其他几代人也报告了呼吸系统症状、高烧、腹泻和味觉障碍。基因测序分析报告称，该病毒与蝙蝠和角马的冠状病毒相似，表明这些病毒可能经历了基因改造到2021年9月，全世界有2.2亿人被确认感染，455万人死亡。据报道，这个数字是：。它通过咳嗽和飞沫在人与人之间传播，主要通过空气传播。目前正在通过开发一种高效的疫苗来促进预防传播。

研究目标

这项研究的目的是开发一种算法，在假设COVID-19侵袭的情况下，推导出一种考虑到社会距离的最佳疏散政策。

即使在大流行的情况下，地震和其他灾害也可能发生，有必要在保持社会距离的情况下得出一个最佳的疏散政策。在这项研究中，提出了一个利用深度强化学习的模型来推导出这样的政策：具体来说，制定了疏散路线，并推导出了一个在约束条件下使目标函数最大化的疏散政策。评估结果证实，与传统方法--扫荡算法相比，拟议的算法能够得出更有效的疏散政策。

技术

本节介绍了本研究中提出的方法的概况和评价环境。

案例研究

本研究以新奥尔良的疏散政策为案例，作为需要社会距离的灾害的模拟环境--新奥尔良的疏散政策是在72小时的飓风疏散中，有42小时才到达海岸。提出了一项计划，将当地居民从家中接出，并将他们运送到全市范围内的救援中心--光滑王中心。

问题的提出

在这项研究中，灾前疏散中的车辆路由问题之一--电容式车辆路由问题（VRP），就是电容式车辆路由问题--CVRP。- 用于灾前疏散：这个问题可以根据一组救济中心--仓库--和节点--客户--来制定灾前疏散的方案，称为：。

这些方程意味着：一个目标函数，使邻里的整体成本最小化--总的疏散时间；一个约束条件，即每所房子只被访问一次；一个约束条件，即紧急车辆对K中的每条路线只能从救援中心出发一次。条件；约束条件是到达和离开每个房屋/救援中心的紧急车辆数量相同；约束条件是确保紧急车辆在一条路线上接走的人数不超过车辆容量C；约束条件是避免与救援中心脱节的路线；决定变量为1（已访问）或0（未访问）。限制因素。

从这样制定的目标函数和约束条件中，每个算法都得出了一个疏散政策。

算法设计

本节概述了传统方法--扫频算法--和拟议方法的模型，这些模型在本研究中被使用。

扫荡算法从仓库--救援中心--开始，用一条任意的线；它逆时针扫荡这条线，当线与房屋相交时，逐一增加房屋，以确定紧急车辆应访问的房屋顺序。当应急车辆超过其容量时，也必须返回救援中心。

所提出的模型利用了深度强化学习，特别是注意力模型--这种算法已被证明在涉及CVR的路径问题上表现良好。注意力模型是基于使用基于注意力的转化器和CNN--卷积神经网络--它掩盖了自我注意力层，以有效分析图结构中的数据，如GAT。-图形注意网络-，而一种RL是集成的。

结果。

本节介绍了本研究中进行的评价结果。

区域大小和社会距离之间的权衡。

在这里，CVRP被模拟并分析了区域大小和社会距离之间的权衡，其中重复了紧急车辆运送居民直到达到容量的过程--随着区域大小的增加，保持社会距离的需求也在增加。据推测，这将会增加。在本次评估中使用了标准CVRP数据集中的节点--房屋--和仓库--救援中心的位置。每个节点的需求--家庭规模和每个房子里的紧急车辆的人数--是用新奥尔良的平均家庭规模产生的。所用的四个数据集的面积大小为20、35、52和68户。在这里，社会距离限制了一辆救援车的人数--64人、32人、16人、8人、4人和2人在一辆车上。在急救车完成对当地居民的装载后，总时间和路线数量被汇总并输出--见下图。

这里假设计划是在风暴到达海岸前54小时开始装载居民，并在风暴到达海岸前30小时前收集最后一批居民--在风暴到达海岸前30小时到12小时之间，如果有必要，城市可以继续进行疏散活动。因此，以42小时和24小时为阈值，对基于DNN的模型和非DNN的模型进行了评估，以确定应急车辆是否在预期时间内完成疏散任务。此外，时间表现被分为满意--少于24小时--、边缘--24-42小时--和不允许--超过42小时。- 分类为：。

区域规模的评估

本节介绍了对区域范围内变化的评估。

评估结果显示，无论每辆救援车容纳多少人，疏散的总时间都会随着区域的大小而增加--社会距离--见下图。

在所有区域大小的情况下，拟议方法和传统方法的总时间随着社会距离的增加而增加：当区域大小从20个增加到68个，紧急车辆中有32人时，1.89小时--拟议方法--和4.79小时--传统方法。h--传统方法--总时间增加；而对于更严格的社会距离--每辆车2人--23.37 h--建议的方法- 和22.18小时--传统方法--总时间增加了。

此外，六种车辆容量--每辆车2人、4人、8人、16人、32人和64人--的平均总时间随着区域大小而增加，并呈线性比例关系--见下图。

例如，当把区域规模从20个增加到68个，每辆车16人时，在最小--+0小时/路线--和最大--+2小时/路线--的情况下，运输时间分别为2.37和2.97倍。增加了2.97倍。与每条线路不增加运输时间的情况相比，增加较长的运输时间时，区域大小和平均总时间之间的关系接近于线性比例关系。

如何拉开社会距离

本节介绍了社会距离和疏散时间之间的关系。

评估结果显示，总的疏散时间随着社会距离的增加而增加--见下图。

在最严重的情况下，只有当过境时间为零时，疏散时间才会少于42小时。对于每辆车32名乘客--限制较少的社会距离--疏散时间对乘客人数限制的敏感度，对于拟议的和传统的方法解决方案几乎是相同的。

基于DNN和非DNN解决方案的有效性。

本节介绍了传统方法和拟议模型的有效性比较结果。

对于每条路线的情况，与传统方法相比，建议的方法在66.67%的情况下减少了总的疏散时间--见下图。

建议的方法需要的路线比8.33%的情况下要少。拟议的模型还显示，平均而言，拟议的模型在更短的时间内使用了更多的路线。另一方面，随着每条路线的运输时间的增加，所提出的方法的优势下降。所提出的模型的有效性也被证明了--在一般车辆的例子中--除了在小区域大小和车辆容量的情况下--所提出的模型比传统方法的性能高达40.18%，高容量车辆，轻度社会距离和大面积条件下的最大值。所需的路线数量也几乎相同。

考虑

在这项研究中，深度强化学习被用来构建疏散路线的推导模型，在发生COVID-19这样的大流行病时可以保持适当的社会距离。评估结果显示，与传统的路由算法--Sweep算法相比，由该模型得出的疏散政策提高了疏散的效率，但在对社会距离要求较高的情况下。-如更大的区域规模 -，有效性降低 -使用深度强化学习，虽然有希望提高效率，但不足以满足为每条疏散路线增加社会距离的时间要求。据推断，要想实现这一目标是很困难的。这些发现不仅与COVID-19有关，也与其他基于当地登记信息的灾难疏散有关，并有望适用于此类情况。还认为，在疏散过程中，当车辆容量大于每户的容量时，该方法的有效性可以得到有效利用，而当应急车辆规模较小时，本模型中的有效性就会降低：在这些情况下，由于路线上有多个家庭组合，有效的路由策略是很难启发式地推导，可以认为--RL模型在这些挑战中可能是有效的，因为它们可以在没有正确答案的情况下自我学习，甚至在难以设定正确答案的复杂情况下。

这项研究的挑战包括学习和评估，同时考虑到车辆尺寸。建议的模型往往会失去效力，特别是当应急车辆的容量接近一个家庭的规模时--节点。一般来说，车辆容量远远大于每个节点的需求，所以需要对低容量车辆的情况进行学习和评估。此外，当社会距离较长时，即使是所提出的模型所提供的指导也不能提供足够的时间，这对于实际使用是不够的。在这方面，可以考虑利用其他RL算法等解决方案。