顔の表情からパーキンソン病を検出できる？最も影響を与える表情とは？？

画像認識 2021年03月10日

3つの要点
✔️ 顔の表情による判別で、診断を容易化
✔️ バイオマーカーとして信頼性の高い手法を提案
✔️ 笑顔(Smiling)、嫌な顔(Disgusted)、驚いた顔(Suprise)の内、もっとも影響を与える表情は何？

Facial expressions can detect Parkinson's disease: preliminary evidence from videos collected online
written by Mohammad Rafayet Ali, Taylor Myers, Ellen Wagner, Harshil Ratnu, E. Ray Dorsey, Ehsan Hoque
(Submitted on 9 Dec 2020)
Comments: Accepted to arXiv.
Subjects: Human-Computer Interaction (cs.HC); Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV)

code：

はじめに

パーキンソン病であるか否かの判別をより簡単にする方法はないだろうか？

この論文で提唱されているのは、顔の表情の画像・動画データから症状の有無を判断することができるかについてを示すものである。実際に、パーキンソン病の症状の1つとして顔の表情の変化が少なくなることがあげられる。この論文では、表情に着目し笑顔(Smiling)、嫌な顔(Disgusted)、驚いた顔(Suprise)に対して分析・研究を行った。

もし、表情からパーキンソン病の診断をすることができた場合、より簡単に症状の診断ができるだけでなく、神経科医が周りに少ない地域や受診することが難しい人への助けになるものである。さらに、この研究で提案されている診断・分類手法としては、SVMの訓練や、PCAをした上でのk-meansによるクラスタリング、ロジスティック回帰モデルの適用などの基礎的な手法を用いて、高い分類精度を出すことができていることも魅力の一つである。

パーキンソン病とは？

パーキンソン病とは、手足の震えや筋肉の硬直、非リズム的な頭の動きなどを引き起こしうるものであるが、これらの症状を見つけ早期発見するためにはどのようにすればよいか？

Hypomimia

この早期診断に重要になってくるのが、この "Hypomimia" である。

パーキンソン病の主な症状の一つとして、麻痺による顔面の筋肉の動きの硬直や表情の低下が引き起こされることがある。このとき、"Hypomimia"は非常に感度の良いバイオマーカーになりえ、以下のことからも早期診断に適していることがわかる。

既存のバイオマーカーとして使われていることの多い「ウェアラブルセンサー」は信頼性は高いが、高価である
顔の表情分析は安価 (カメラがあれば分析できるため導入コストが低い)
神経科医が近くにいなくても、診断を受けることができる (場所は問わない)

遠隔医療のメリット

このカメラ画像を使った診断によるメリットの一つとして、どこにいても診断を受けられるということが挙げられるが、これは

COVID-19などの影響で物理的に分離する必要のある患者
自力で動くことが困難な人
神経内科医が周辺にいない地域

の人たちにとっては特に恩恵が受けれると考えられる。また、表情の低下は社会的な幸福やうつ病とも関連しているためパーキンソン病を早期に発見することは非常に重要なことといえる。

Methods

1. Dataset

データセットは604人(パーキンソン病の症状あり61人、なし543人)に対してそれぞれ3本のビデオによる記録をとり、計1812本のビデオから構成されています。ビデオの取得方法としては、オンラインのパーキンソン病録画ツールであるPARK(Parkinson's Analysis with Remote Kinetic tasks)を使用しており、このフレームワークを用いて収集した顔面模倣タスクの分析結果をこの論文では、紹介している。また、顔の模倣タスクには、笑顔(Smiling)、嫌な顔(Disgusted)、驚いた顔(Surprise)の3つの顔表現が含まれており、各ビデオにはその内の１つの表情が含まれています。

データセットの例としては図3のようなものであり、参加者に各表情を作ってもらい、その表情を数秒間保持した後、無表情にするという流れで各ビデオ10〜12秒の動画を集めた。

・参加者の募集

パーキンソン病を持たない人に関しては、Facebook広告およびAmazonメカニカルタークスを通じて募集しています。パーキンソン病を持つ人に関しては、論文の著者達が所属するロチェスター大学の医療センターで治療を受けているか、研究に参加することに同意した人たちです。またこれらの参加者に関しては、ある程度のパーキンソン病の症状を有していることを医療センターの専門家によって診断された人たちです。

2. 特徴抽出と計算ツール

取得したビデオは、各フレームの顔の動作ユニット(AU)値を自動的に計算するOpenFaceのソフトウェアを用いて解析します。この顔の動作ユニット(AU)(表2)があり、笑顔、嫌な顔、驚いた顔がどの動作単位から影響を受けているかを関連付けたうえで、今回の研究を行っています。

笑顔 (Smiling) ：AU01, AU06, AU12
嫌な顔 (Disgusted) : AU04, AU07, AU09
驚いた顔(Surprised) : AU01, AU02, AU04

下記の表2にあるように、上記の顔の動作ユニット(AU)が各表情に関連することがわかったため、AUの分散を計算した上で、この研究ではこの分散を特徴量として考える。

http://multicomp.cs.cmu.edu/wp-content/uploads/2018/11/OpenFace.pdf, TableⅡより

3. 分析

最初の分析では、パーキンソン病の症状のある人とない人の間での特徴の分布に着目します。まずMann-Whitney U検定を行い、データが正規分布でなかったので、ノンパラメトリック有意性検定を用いました。また反復有意性検定では、ここでのすべてのp値に対してボンフェローニ補正を行っています。

結果

研究協力者の統計情報

各表情の処理

パーキンソン病の症状のある人とない人についての顔の各動作ユニット(AU)での分散の差は下記の表2のようにまとめられます。笑顔(Smiling)と驚き(Suprise)の表情での有意差が認められ、具体的には、AU01, AU06で特に笑顔の表情に有意差が認められることがわかりました。

これらの結果からも笑顔の表情がパーキンソン病の症状の有無を区別する上で、重要になりうることがわかります。

パーキンソン病の症状のある人とない人でのAUの分散の差

また、実際に9つの顔の動作ユニット(AU)に対して、SVMを適用して、パーキンソン病の症状の有無を分類したところ、結果は下記の通りになった。

正答率:95.6%, F1:0.95, AUC:0.94, Precision 95.8%,Recall 94.3%

図1：ロジスティック回帰からの特徴量の重み

パーキンソン病の症状を持つ人を1、持たない人を0とし、2値分類の結果は下記の表のようになりました。緑色のバーに関しては、p<0.05の特徴を示していて、有意性のある特徴といえます。また9つの特徴の内、7つは負の重みを持っていることからも顔の動作ユニット(AU)の分散が低いほどパーキンソン病の症状を持つ確率が高いことを意味しており、また顔の筋肉の硬さが負の値に影響を与えているともいえます。

図2：9つの顔の動作ユニット(AU)の2次元可視化

9つの特徴量をPCAを用いて2次元データに変換した上で、K-meansクラスタリングを適用し、3つにクラスタリングされた図になります。赤色のクラスターがPD%(パーキンソン病の参加者の割合)が最も高い76%、この赤色のクラスターの中心が(0,0)座標に近いことからもパーキンソン病の参加者間のAUの分散の影響が類似していることが示されました。

議論

分布からは2つのAUの分散が、パーキンソン病の症状のある人とない人の間で有意に異なっていた。さらにこれらは2つとも笑顔の表情に関連するものであり、他の表情よりも笑顔の表情はパーキンソン病の影響を最も受けると考えられる。

ロジスティック回帰の結果

ロジスティック回帰をおこなった結果(図1)としては、緑色の部分が有意性が認められた部分であり、4種類あるがそのうち

　笑顔の表情由来の重みが3種類、嫌悪の表情由来の重みが1種類
　負の重みが3種類

負の重みが3種類あることからパーキンソン病の症状との関係が逆であることがわかる。つまり低レベル（Frontalis、pars medialis、Depressor Glabellae、Depressor Supercilli、Currugator、Orbicularis oculi、pars orbitalis、Zygomatic Major）の筋運動が関連しているといえる。

AU01(Inner Brow Raiser)

これは眉毛の内側部分が盛り上がっていると言う特徴であるが、パーキンソン病の症状のない人に比べて、ある人の方が変動が大きいとことがわかる。過去に、眉毛の震えがパーキンソン病の初期症状として判明しており、パーキンソン病であることが眉毛の運動を活発化させる要因となっていたと考えられる。

分析精度

パーキンソン病の症状は、手足の震え、頭の動き、声、記憶、睡眠、歩行などの複数の異なるモダリティによって特徴づけられることが多いが、下記の結果から顔の表情のスキャンは信頼性の高いバイオマーカーとして活用できることが示される。

シンプルなSVM分類器 : 95%
ビデオ解析ツール : 92% (手足の震えやと頭の動きに依存)

神経科医への影響

神経外科医が見ることができる特徴に加え、肉眼では見えないことが多い微妙な特徴を分析するアルゴリズムを加えることにより、重要な新しい情報を加えることができる。

注意点

注意点として、パーキンソン病の患者がすべての症状を示すわけではなく、一部の症状だけ生じたり、逆に生じなかったりする。そのため、1つのモダリティに頼るのではなく、複数の異なるモダリティを利用することでより信頼性の高い診断結果が得られることが考えられる。この研究では、信頼性の高いモダリティの一つとして、顔の表情(特に笑顔(Smiling))を利用しているというものである。

スマホの活用

スマートフォンなどにより、今回の研究のような短い動画を撮影し、送ることで自動的にスクリーニングし、もしリスクがある場合は神経内科医への受診を紹介するというツールを作ることが可能である。

また全世界的に見ると、アフリカやアジア、南米の一部地域では人口あたりの神経科医の数が著しく少ない。その一方、アフリカでは約75%(南アフリカでは約90%以上)の人が携帯電話を利用しており、今回の研究で提唱されている顔の表情に基づいた分析を活用することで、健康の公平性やアクセスの向上にさらに貢献する可能性がある。

Data Availability

IRBの要件により、個人を特定できる情報を含むビデオを共有することはできませんが、分析に使用された抽出後の特徴量とPythonのスクリプトに関しては、引用のgithubから取得可能です。

まとめ

この論文では、顔の表情からパーキンソン病の症状の有無を判別する手法を提案し、それが信頼性の高いバイオマーカーとなること、さらに判別をする上で笑顔の表情が重要な要因となることを示した。このことは、診断をより簡単に実現することにつながる。現在診断を受けることが難しい人への診断を容易にしたり、精神科医の目が届かないところへの補助にもなりうるだろう。