ニューラルネットワークを使用し壁の向こう側から人の姿勢や動きを感知する

NEWS 2019年01月17日

MITのコンピューターサイエンスと人工知能研究所（CSAIL）のチームが行った研究により、壁の向こう側からのデータを認識する事が可能になるかも知れません。彼らが行ったプロジェクト「RF-Pose」は、AIを使って、壁の向こう側からでも、人の姿勢や動きを感知するようにワイヤレスデバイスに学習させます。

論文　Through-Wall Human Pose Estimation Using Radio Signals

人が住む環境は、壁や家具など様々な視野を遮る障害物がありますが、今まで、ネットワークは壁の向こう側からのデータを認識することについて正確に訓練されておらず、可視光線はたびたびブロックされていました。X線ビジョンは長い間SF映画のファンタジーのように思えましたが、MITのコンピュータサイエンスと人工知能研究所（CSAIL）のチームが行った研究により、壁越しの透視の技術も徐々に現実のものとなってきました。彼らの最新プロジェクト「RF-Pose」は人工知能（AI）を使ってワイヤレスデバイスが壁の反対側からでも人々の姿勢や動きを感知できるように学習させています。

この手法は、Wi-Fiなどで使われる無線電波が壁を透過して人体に反射することを利用したもので、低出力のワイヤレス信号（Wi-Fiよりも1000倍の低電力）に乗せ信号を送信し、受信結果をニューラルネットワークにより解析して、人間の骨格や動きを推定します。

以下のデモ動画では、壁の向こうにいる人の動きが棒状モデル（骨格）としてリアルタイム描画されるほか、目線が遮られた壁越しの動きも棒状人形として視覚化できることや、複数の人間のポーズを正確に認識していることが確認できます。

目を惹くのは、人体の一部が隠れていても、暗い環境でもほぼ問題なく可視化できている点です。また、一つのシーンで複数の人間が動いていても、それぞれを追跡できている様子も覗えます。

チームはまず、無線デバイスとカメラの両方を使って、歩く、話す、座っている、ドアを開く、エレベーターを待つなどの活動をしている人々の何千もの画像を集めました。それから、これらの画像を使ってスティク図を抽出し、それらを対応する無線信号と共にニューラルネットワーク学習させました。この入力の組み合わせにより、システムは無線信号とシーン内の人々のスティックフィギアとの間の関連性を学習する事ができました。

トレーニング後、RFポーズは、人の体を跳ね返す無線反射のみを使用して、カメラなしで人の姿勢と動きを推定することができました。

医療、エンターテイメント分野への応用可能

このRF-Poseを使用することにより、パーキンソン病、多発性硬化症（MS）、筋ジストロフィーなどの疾患を監視し、疾患の進行をより深く理解し、それに応じて医師が薬を調整できるようにすることが期待されています。

また、転倒、怪我などの活動パターンの変化を監視するセキュリティを強化することにより、高齢者や障害者がより独立して生活するのを幇助できるかも知れません。

チームは現在、RF-Poseをヘルスケアへ分野に応用するために医師と協力して研究を進めています。このアプローチの大きな利点は、患者がセンサーを装着したり、自分の機器を充電したりする必要がないところにあります。低電力ゆえに大掛かりな装置を必要とせず、モーショントラッキング用の専用スーツも着なくていいこのシステム。安全な形での普及が待ち通しいです。

ヘルスケア以外にも、RF-Poseは、プレイヤーが家の中を移動する新しいクラスのビデオゲームや、生存者の場所を特定するための捜索救助任務にさえも使用できると考えられています。

また、この研究は動きを検知することに加えて、ワイヤレス信号を使用して100人の個人のうちの83パーセントが正確に誰かを識別することにも成功したとのことです。この能力は、特定の人々の身元を知ることが役立つ場合や、捜索救助活動の適用に有用だと考えられています。屋外にいながら建物の中の人々の動きが分かり「全部で5名、全員男！」など、SF映画のような事も実現するかもしれないですね。