会話相手はあなたのどこを見ている？？ビデオチャットでも対面でも使える視線推定の新技術！
3つの要点
✔️ 会話中の録画ビデオから, 話者同士やカメラとの位置関係などの事前情報なしに, 「対人視線」を推定する「ICEフレームワーク」を提案
✔️ ビデオチャット, 対面会話どちらの状況にも対応
✔️ 「欺きと視線の関係性」, 「コミュニケーション能力とアイコンタクトの関係性」の2つの研究にICEフレームワークを適用し, 有用性を検証
Are you really looking at me? A Feature-Extraction Framework for Estimating Interpersonal Eye Gaze from Conventional Video
written by Minh Tran, Taylan Sen, Kurtis Haut, Mohammad Rafayet Ali, Mohammed Ehsan Hoque
(Submitted on 21 Jun 2019 (v1), last revised 17 Jan 2020 (this version, v2))
Comments: Accepted at IEEE Transactions on Affective Computing
Subjects: Computer Vision and Pattern Recognition (cs.CV); Human-Computer Interaction (cs.HC)
はじめに
視線推定に関する研究はこれまで数多くされてきましたが、本記事ではその中でも、会話中における「対人視線」を推定する手法を提案した論文をご紹介します。ここでいう対人視線というのは、「会話相手に対して, どの辺りを見ているか」というものです。
例えば下の図では、a~dはビデオチャット、e~hは対面会話の例です。c、d、g、hにおいて、青い丸が視線を推定をする対象人物、緑の丸がその会話相手、黄色の丸が撮影カメラです。また、a、b、e、fは黄色の丸のカメラで撮影された、青丸の推定対象人物の顔画像になっています。
ここから、下の図のように、視線推定の対象人物が、ある瞬間、その会話相手に対してどのあたりを見ているのか(本研究においては、1~9の領域のどの領域を見ているのか)ということを推定します。
既存手法では、推定対象である人物の目の位置や、カメラの位置関係や会話相手との位置関係などの物理的なレイアウトの事前情報が必要であり、ビデオ映像だけから対人視線を直接得るということができませんでした。また、これらの様々な事前情報を、推定を行う度に取得しキャリブレーションを行うというのは、とても労力が大きいです。
さらに、対面会話だけでなく、最近ではビデオチャットも使う機会が増加してますが、既存手法が対面だけでなくビデオチャットでも対人視線の推定が行えるかというと、性能が不十分であったり、未知であったりするなど、様々な状況への対応が難しいという課題があります。
続きを読むには
(4986文字画像18枚)AI-SCHOLARに
登録いただく必要があります。
この記事に関するカテゴリー
