ディープラーニングを使って絵画や写真を3Dアニメーションに変換する

3つの要点
✔️ 一枚の静止画像から人物やキャラクターを3Dアニメーションに
✔️ Mask R-CNNが使用されている
✔️ 対話型インタフェースや、3D人物が写真から現実の世界に現れることを可能にした 

Photo Wake-Up: 3D Character Animation from a Single Photo
written by Chung-Yi Weng, Brian Curless, Ira Kemelmacher-Shlizerman
(Submitted on 5 Dec 2018)
Comments: Published by arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV); Graphics (cs.GR)

はじめに

ワシントン大学とフェイスブックの研究者らは、静止画や絵画をアニメーションに変換することができるディープラーニングベースのシステムを発表しました。たった一枚の静止画像から人物やキャラクターを3Dアニメーションにする事ができ、ARでそれを探索するなどにも応用可です。

ワシントン大学とフェイスブックの研究者らは、静止画や絵画をアニメーションに変換することができるディープラーニングベースのシステムの論文を発表しました。　

Photo Wake-Upと呼ばれるこのアルゴリズムは、畳み込みニューラルネットワークを使用して、たった一枚の静止画像から人物やキャラクターを3Dアニメーションにします。

このシステムは、スポーツ写真からアート、ポスターまで、全身のかなり正面の写真を扱うことができ、さらには、ユーザーは画像内の人間を3Dで再構成を表示し、ARでそれを探索するなどにも応用可能だとのこと。

例えば、HoloLensのヘッドセットを装着してこのシステムを利用すると、中心となる人物が3Dアニメーションになって、1枚の写真や絵の中から見ている人の方へと飛び出してきます。ユーザーはアニメーションを様々な方向から見ることに加え、手のジェスチャーで走らせたり止めたりすることができます。

著者らは、この技術を映画「ハリー・ポッター」に登場する動く肖像画になぞらえており、SFやファンタジーの世界に足を踏み入れたかのような不思議な体験を可能にしています。

この記事に関するカテゴリー

• 論文
• 機械学習
• 深層学習