教師なしで向きを推定！？Viewpoint推定に革命を起こす「SSV」登場！pascal3D検証で教師ありのHoloGANに勝利！

3つの要点
✔️ ラベルデータ無しでViewpoint推定を実現
✔️ cycle consistency制約を使ったSelf-supervisedな学習フレームワークを設計   
✔️ Pascal3D+などの難易度の高いデータセットで検証を行い、教師あり手法に匹敵する性能を示した

Self-Supervised Viewpoint Learning From Image Collections 
written by Siva Karthik Mustikovela, Varun Jampani, Shalini De Mello, Sifei Liu, Umar Iqbal, Carsten Rother, Jan Kautz
(Submitted on 3 Apr 2020)
Comments: Published by CVPR 2020 
Subjects: Computer Vision and Pattern Recognition (cs.CV)

単一画像からのオブジェクトのViewpoint（向き）推定は、アプリケーションとしての利用だけでなく、2D画像からの3D幾何学構造理解に繋がる重要な問題であり、オブジェクトの操作、3D再構成、画像合成などの様々なコンピュータビジョンタスクで役に立つ非常に意義の大きい研究分野となっています。

しかし、Viewpointの学習は大量のデータセットを用意するのが非常に困難であり、この分野の発展を妨げる要素となっています。人の顔や車の例で言うと、下図のようなアノテーションを大量の画像に付与していかなければならないことになり、非常に手間と時間がかかってしまいます。

このような状況を打破するために、「ラベル付きデータセット無し」で、つまり画像のコレクションだけからこれを実現しようというチャレンジングな課題に挑んだという論文です。

 

そして著者らはSelf-SupervisedなViewpoint学習フレームワークを設計して見事にこれを達成しました。今後のこの分野の研究において非常に大きな貢献をした論文になっています。

この記事に関するカテゴリー

• viewpoint
• cycle consistency