手書きの絵から高精度の顔画像を生成する DeepFaceDrawing

3つの要点
✔️ 顔のパーツ毎に特徴空間をモデル化
✔️ 手書きスケッチを特徴空間で自然な顔に近似 
✔️ マルチチャネル特徴マップを利用する事で、顔を自然に合成する

Deep Generation of Face Images from Sketches
written by Shu-Yu Chen,Wanchao Su,Lin Gao,Shihong Xia,Hongbo Fu
(Submitted on 1 Jun 2020 (v1), last revised 5 Jun 2020 (this version, v2))
Comments: Published by Siggraph 2020
Subjects: Graphics (cs.GR); Computer Vision and Pattern Recognition (cs.CV)

Code 実装

概要

画像から画像への変換手法の研究によって、手書きの絵から顔画像を生成する事さえ出来るようになってきました。しかし既存手法では、入力画像である手書きスケッチに近すぎる画像が生成される事が問題でした。提案手法では顔の形状を暗黙的にモデル化する事によって、顔画像の特徴空間を学習し、そこから逸脱しないような画像を生成します。

まず主要な顔要素の特徴量への埋め込みを学習し、それらに対応する入力スケッチの部分を、顔要素毎の特徴ベクトルによって定義されるコンポーネント多様体に向けて対応付けます。提案手法は、入力スケッチをソフトな制約として使用するため、ラフや不完全なスケッチからでも高品質の画像を生成できます。

Tak

博士（情報学）　 自然言語処理で学位を取りましたが、機械学習は15年以上昔からやっています。