ディープラーニングを使って絵画や写真を3Dアニメーションに変換する

ワシントン大学とフェイスブックの研究者らは、静止画や絵画をアニメーションに変換することができるディープラーニングベースのシステムを発表しました。たった一枚の静止画像から人物やキャラクターを3Dアニメーションにする事ができ、ARでそれを探索するなどにも応用可だそう。

論文:Photo Wake-Up: 3D Character Animation from a Single Photo

ワシントン大学とフェイスブックの研究者らは、静止画や絵画をアニメーションに変換することができるディープラーニングベースのシステムの論文を発表しました。 

Photo Wake-Upと呼ばれるこのアルゴリズムは、畳み込みニューラルネットワークを使用して、たった一枚の静止画像から人物やキャラクターを3Dアニメーションにします。

このシステムは、スポーツ写真からアート、ポスターまで、全身のかなり正面の写真を扱うことができ、さらには、ユーザーは画像内の人間を3Dで再構成を表示し、ARでそれを探索するなどにも応用可能だとのこと。

例えば、HoloLensのヘッドセットを装着してこのシステムを利用すると、中心となる人物が3Dアニメーションになって、1枚の写真や絵の中から見ている人の方へと飛び出してきます。ユーザーはアニメーションを様々な方向から見ることに加え、手のジェスチャーで走らせたり止めたりすることができます。

研究チームは、この技術を映画「ハリー・ポッター」に登場する動く肖像画になぞらえており、SFやファンタジーの世界に足を踏み入れたかのような不思議な体験を可能にしています。

 

ピカソの抽象画も3Dアニメーションに

アルゴリズムの力を示すために、チームは落書き、漫画のキャラクター、NBAのスター、スティーブン・カリー、そしてピカソの絵のイメージを使ったそう。

例えば、こちらは、キュビズムの代表的画家であるピカソの絵画ですが‥

Photo Wake-Upを利用すると、絵画の中からキュビズムで描かれた女性が飛び出して、こちらへ向かって歩いてきました。

 

Photo Wake-UpをAR(拡張現実)に応用して、現実世界から3D化したキャラクターを生み出すことも可能です。

 

ディープラーニングを使って2Dで切り取った対象に3Dモデルを重ねる

Photo Wake-Upではまずは写真から、写真内の人物やキャラクターを識別し、対象を2Dで切り取ってから、被写体に変形可能な3Dモデルを重ね合わせます。

論文によると、本研究の最重要点は、画像内の人物やキャラクターの2Dカットアウトを研究者がより厳密にワープすることを可能にする独自のアプローチであるとのことで、チームは、対象と3Dスケルトンの位置合わせを確実にするためにワープアルゴリズムを使用したと伝えられています

このプロジェクトは、最新の技術への洞察を提供するだけではなく、 人物を3Dでリポーズすることを可能にする対話型インタフェースや、3D人物が写真から現実の世界に現れることを可能にしました。写真、ポスター、そしてアートの領域でこれらが使われる可能性も高いかも?未来が楽しみですね。