動画の動きを静止画像に転写！静止画を思いのまま動かすMonkey-Netとは

image2image 2020年04月14日

3つの要点

✔️ Atari57ゲーム全てで人間の性能を超える強化学習
✔️ 既存の強化学習の進化形
✔️ 状態行動価値Qの分離、メタコントローラの導入により性能向上

Animating Arbitrary Objects via Deep Motion Transfer
written by Aliaksandr Siarohin, Stéphane Lathuilière, Sergey Tulyakov, Elisa Ricci, Nicu Sebe
(Submitted on Submitted on 20 Dec 2018 (v1), last revised 30 Aug 2019 (this version, v3))
Comments: CVPR-2019_oral
Subjects: Graphics (cs.GR); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Machine Learning (stat.ML)

概要

静止画にある動画の動きを転写して、静止画像を動かすことが実現できたら面白いと思いませんか？

そのようなことが可能となれば自分の写真にプロダンサーの動きを転写して格好よく踊るムービーを作成したり、自分の描いた絵に実写の動画の動きを転写して、アニメーションを自動生成させることができます。この論文はこれらを可能にするモデルMonkey-Netを紹介しています。

動きを転写させることで動画を生成する研究は過去にもいくつかありました。Everybody Dance Nowはダンスを踊っている人の動画から動きを抽出し、ソース動画に転写することでソース動画の人がダンスを踊る動画を生成します。また同じようなことを顔の表情で実現したX2Faceなどがあります。

しかしながら、これらの手法は固有のドメイン知識（骨格、顔の表情、音など）を利用しているので、適用できる範囲が限定されています。Everybody Dance Nowは人の動画、X2Faceは人の顔の動画の動きしか転写することができません。

この論文ではキーポイントを用いて動画を生成します。キーポイントはあらゆるオブジェクトに定義可能なのでMonkey-Netは様々な動画に適用可能です。さらに生成された動画の質は過去の手法を凌駕しています。図１は生成デモです。Source ImageがDriving Videoのように動く動画が生成されています。