【応用編】深層学習を用いた画像Data Augmentationを一挙にまとめてみた！

Data Augmentation 2020年05月24日

3つの要点
✔️ 深層学習を用いたData AugmentationにはGANやスタイル変換などを用いたものがある
✔️ 深層学習を用いたDAの利点/欠点をまとめた
✔️ 基本的なDAと組み合わせることでさらに高い精度を達成できる

A survey on Image Data Augmentation for Deep Learning
written by Connor Shorten, Taghi M. Khoshgoftaar
(Submitted on 06 July 2019)
Comments: Published by Journal of Big Data
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Image and Video Processing (eess.IV)

本記事で使用している画像は論文中のもの、またはそれを参考に作成したものを使用しております。

@omiita_atiimoでツイッターもやっています。人工知能に関することや新しく書いた記事などについてつぶやいています。人工知能についてもっと知りたいという方はぜひフォローしてください。

導入

この記事では深層学習を用いたData Augmentation(以下、DA)について説明していきます(前回の基本編の続きとなっていますので、そちらもお読みください)。前回はData Augmentation(以下、DA)の体系を説明したあとに、基本的なDAとしてGeometric TransformationやColor Space Transformation、Mixing Imagesなどを紹介しました。今回は、ついに深層学習を用いたDAについて触れていきます。下図のオレンジ色で囲った部分がこの記事で扱うDAたちです。

ida_fig2_DL

下表でいうオレンジ色の部分です。(斜め字は前回の基本編で紹介いたしました。)

手法	種類	DL	概要
Geometric Transformations	加工	-	幾何学的な操作。FlipやCropなど。
Color Space Transformations	加工	-	色空間の操作。GrayScale変換など。
Kernel Filters	加工	-	古典的なフィルターを適用する操作。SharpenやBlurなど。
Mixing Images	生成	-	既存の画像を混ぜて新しい画像を作る操作。SamplePairingなど。
Random Erasing	加工	-	画像の一部を取り除く操作。Cutoutなど。
Feature Soace Augmentation	加工	○	画像データの特徴ベクトルに加工を施す操作。
Adversarial Training	加工	○	敵対的サンプルを用いた手法。
GAN Data Augmentation	生成	○	画像データをGANで生成する手法。
Neural Style Transfer	加工	○	スタイル変換を適用する手法。