面部表情能发现帕金森病吗？什么表情对它影响最大？

图片识别 10/03/2021

三个要点
✔️ 通过面部表情进行辨别，方便诊断。
✔️ 提出一种可靠的方法作为生物标志物。
✔️ 在微笑、厌恶、惊讶中最有影响力的面部表情是什么？

Facial expressions can detect Parkinson's disease: preliminary evidence from videos collected online
written by Mohammad Rafayet Ali, Taylor Myers, Ellen Wagner, Harshil Ratnu, E. Ray Dorsey, Ehsan Hoque
(Submitted on 9 Dec 2020)
Comments: Accepted to arXiv.
Subjects: Human-Computer Interaction (cs.HC); Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV)

code：

首先

有什么方法可以让你更容易判断自己是否患有帕金森？

本文提出，可以从面部表情的图像和视频数据中判断有无症状。其实，帕金森病的症状之一就是面部表情变化的减少。本文以面部表情为重点，对微笑、厌恶、惊讶的面部进行分析研究。

如果能从面部表情来诊断帕金森病，不仅能更容易地诊断出症状，对于周围神经科医生少或看病难的地区的人来说，也是一种帮助。此外，本研究提出的诊断和分类方法的一个吸引人的特点是，使用SVM训练、PCA后k-means聚类、应用逻辑回归模型等基本方法，能够达到较高的分类精度。

什么是帕金森病？

帕金森病会引起四肢震颤、肌肉僵硬、头部非节律性运动等症状，但这些症状如何才能早发现、早发现呢？

妊高症

妊高症 对本病的早期诊断有重要意义。

帕金森病的主要症状之一就是瘫痪，会导致面部肌肉活动僵硬，面部表情减少。在这种情况下，"Hypomimia"可以成为一个非常敏感的生物标志物，下面说明它适合早期诊断。

可穿戴式传感器，通常用于现有的生物标记物，是可靠的，但价格昂贵。
面部表情分析成本低 （只需要一个摄像头就可以进行分析，所以实施成本低）。
即使神经科医生不在附近，也能得到诊断（无论地点）。

远程医疗的好处

这种基于摄像头图像的诊断方式的一个优点是，无论你在哪里都可以得到诊断，这就是

因COVID-19或其他原因而需要实际分开的患者。
自身行动困难的人
周边没有神经科医生的地区。

帕金森病患者特别容易从这种治疗中获益。此外，早期发现帕金森病是非常重要的，因为面部表情减少与社会福利和抑郁症有关。

方法

1.数据集

数据集由604名参与者（61名有帕金森病症状，543名无帕金森病症状）组成，每个参与者有3段视频记录，共1812段视频。采用在线帕金森病记录工具PARK（Parkinson's Analysis with Remote Kinetic tasks）获取视频，本文介绍了利用该框架收集的面部模仿任务的分析结果。本文介绍了利用该框架收集的人脸模仿任务的分析结果。面部模仿任务包括三种面部表情：微笑(Smiling)、厌恶(Disgusted)和惊讶(Surprise)，每个视频都包含其中一种表情。

数据集的一个例子如图3所示，我们收集了每个视频的10-12秒，要求参与者做出每个表情，保持该表情几秒钟，然后不做任何表情。

参与者的招募

对于那些没有帕金森症的人来说，Facebook广告和亚马逊机械图尔克斯和亚马逊机械土豪。对于那些患有帕金森症的人，他们正在罗切斯特大学医学中心接受治疗，论文作者在那里，或者已经同意参与研究。这些参与者必须经医疗中心的专家诊断为有一定程度的帕金森病症状。

2、特征提取和计算工具

使用OpenFace软件对采集的视频进行分析，该软件会自动计算每一帧的面部动作单位（AU）值。这个面部动作单位（AU）（表2）是可用的，目前的研究是基于关联哪些动作单位受到微笑、厌恶和惊讶的脸的影响。

微笑 : AU01, AU06, AU12
恶心：AU04、AU07、AU09。
惊讶的表情 : AU01, AU02, AU04

如下表2所示，由于发现上述面部动作单位(AUU)与每个面部表情相关，因此计算了AUU的方差，并将此方差作为本研究的一个特征。

来自http://multicomp.cs.cmu.edu/wp-content/uploads/2018/11/OpenFace.pdf，表二

3. 分析

首先分析的重点是有帕金森病症状和没有帕金森病症状的人之间的特征分布。我们首先进行Mann-Whitney U检验，由于数据不是正态分布，我们采用非参数显著性检验。另外，在重复显著性检验中，我们对这里的所有p值进行了Bonferroni校正。

结果

研究合作者的统计资料

每种表达方式的处理

有帕金森病症状和无帕金森病症状的人面部各动作单位（AU）的差异可总结如下表2。微笑(Smiling)和惊讶(Surprise)面部表情存在显著差异，特别是在AU01和AU06中，尤其是微笑面部表情。

这些结果也表明，微笑的表情对区分帕金森病症状的有无具有重要意义。

有帕金森病症状的人和没有帕金森病症状的人之间AU方差的差异

此外，实际应用SVM对9个面部动作单位（AU）进行分类，判断是否存在帕金森病症状，结果如下。

正确反应率:95.6%,F1:0.95,AUC:0.94,精确度95.8%,召回率94.3。

图1：逻辑回归的特征权重。

有帕金森病症状的人分为1级，没有帕金森病症状的人分为0级，有帕金森病症状的人分为1级。二元分类的结果如下表所示。绿条表示P<0.05的特征，可以说是一个显著的特征。此外，9个特征中，有7个特征的权重为负值，也就是说面部动作单位（AU）的方差越小，有帕金森病症状的概率越高，也可以说面部肌肉的僵硬程度影响了负值。