GANをスマホで動かす！圧縮手法の組み合わせで軽量化、「GAN Slimming」

GAN（敵対的生成ネットワーク） 2020年09月18日

3つの要点
✔️ 機械学習モデルの圧縮技術を組み合わせた最適なフレームワークを提案
✔️ 圧縮をImage-to-Image translationのGANモデルに適用
✔️ CartoonGANで画質を保ったままモデルを1/47に圧縮

GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework
written by Haotao Wang, Shupeng Gui, Haichuan Yang, Ji Liu, Zhangyang Wang
(Submitted on 25 Aug 2020)
Comments: Accepted at ECCV 2020 spotlight.
Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV); Machine Learning (stat.ML)

Code

概要

機械学習モデルの活用手段が増えていく近年、スマホやマイコンなどの軽量なデバイスでデプロイしたいという需要が増えています。特に、画像変換の分野では、年齢の変更、複数の顔同士の交換、化粧、をスマホ上で擬似的に行うアプリが話題となっています。

画像変換の代用的なモデルとしてGenerative Adversarial Networks (以下、GAN)があり、高画質な偽画像を生成することができることで有名です。しかし、それと同時にGANはパラメータが非常に多く、計算量的に見ても学習が難しいことが知られています。(その他にもこちらのような問題もあります)この論文で挙げられている例として、画像変換のSoTAモデルであるCartoonGANの学習には56 GFLOPsものコストがかかることが知られています。(FLOPsの説明と比較についてはこちら)

そこで、この研究では一般的な機械学習モデルのサイズを圧縮する際に使われる蒸留・枝刈り、量子化といった手法を全て使ってGANのモデルの圧縮手法GAN Slimming(以下、GS)を提案しています。