カラー化タスクの鍵は物体認識！

 3つの要点

✔️ インスタンスを利用したカラー化手法の新しい学習ベース
✔️ インスタンスレベルとフル画像レベルで画像特徴を抽出し、特徴融合を最適化することで精度向上
✔️ 従来手法と比較して最先端の性能を達成

Instance-aware Image Colorization
written by Jheng-Wei Su, Hung-Kuo Chu, Jia-Bin Huang
(Submitted on 21 May 2020)
Comments: Accepted at CVPR2020
Subjects: Computer Vision and Pattern Recognition (cs.CV)
Paper Official Code Demo 

はじめに

グレースケール画像をカラー画像に変換するタスクは機械学習の発展に伴って、多くの成果をあげてきました。昔の白黒画像をカラーにすることで当時のカラー画像を蘇らせるなんてことも話題です。しかし実際には、このタスクは1チャンネルのグレースケール画像から欠落した2チャンネルを予測することになり、非現実的な問題です。さらに、物体のカラー化は複数の選択肢があり、服であっても、赤・緑・青などのマルチモーダルな問題となる可能性があります。

従来手法

従来手法には参照画像をガイダンスとして使用することでカラー化するようなユーザーが介入するタイプのカラー化技術やdeep learningの進歩に伴い、大規模なデータセットで学習し、カラー化する技術が提案されてきました。後者であれば、学習データに依存するのは仕方ありませんが、End-to-Endでカラー化できるため、カラー化タスクのメイン手法になります。

しかし、これらの既存手法では複数のオブジェクトが存在する画像では性能が著しく落ちることが報告されています。(図1)

図1 従来手法の複数のオブジェクト時の問題点

上記画像でも物体が複数あることでカラー化自体が上手くいっていないことがわかります。下段の画像ではオレンジの色もそうですが、後方にある車のカラー化が提案手法で上手くいっているのが特に注目されます。

この記事に関するカテゴリー

• 画像認識