Optical Flowを用いることで静止画からの動作推定が向上

3つの要点
✔️ スナップショットから観測されていない動きを幻覚化させる
✔️ 動き（Optical Flow）が動作推定における深情報へ
✔️ 従来手法上回る精度で動作推定が可能

Im2Flow: Motion Hallucination from Static Images for Action Recognition
written by Ruohan Gao,Bo Xiong,Kristen Grauman
(Submitted on 12 Dec 2017 (v1), last revised 30 May 2018 (this version, v3))
Comments: Published by CVPR 2018, project page: this http URL
Subjects: Computer Vision and Pattern Recognition (cs.CV)

人の視覚野は動いている物体を切り取った静止画に 対しても動画と同じように反応することが研究でもわかっており、画像内に存在する人間の姿勢についてある程度予測することも可能です。本研究では、静止画からの動き(Optical Flow)の推定がNeural Networkにもできるのでは？という発想に基づき、単一のスナップショットにから暗黙のうちに観測されていない動きを幻覚化させるアプローチを提案しています。

wevnal-ai-scholar