EfficientNetを凌駕するNAS! モデルアーキテクチャの探索空間をProgressiveに狭める新手法「Design Network Space Design」

3つの要点
✔️ 従来のNASの手法を改善させ、モデルアーキテクチャの探索空間をz徐々に狭める「Design Network Space Design」という手法を開発 
✔️ 「Design Network Space Design」から得られたモデル, RegNetはシンプルな正則化手法の条件ではEfficientNetと同等の性能かつ推論時間の高速化に成功(最大5倍) 
✔️ Depthが60層程度で飽和すること、Inverted BottleneckやDepthwise Convolutionが性能を悪化させていることを突き止めた

Designing Network Design Spaces
written by Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaiming He, Piotr Dolla ́r
(Submitted on 30 Mar 2020) 
Comments: Accepted at CVPR 2020 
Subjects: Computer Vision and Pattern Recognition(cs.CV); Machine Learning(cs.LG)
Code

はじめに

画像認識の性能向上 

　近年、画像認識は急速に開発が進みました。その筆頭となるモデルとして、

• ReLUとDropoutによりConv層の有効性を示したAlexNet(2012)
• 3x3のConv層のみで使用し、深さを増やす(16層-22層)ことで性能を向上させたVGG(2015)
• 残差接続により勾配消失問題を原理的に解決したResNet(2016) 

などが有名です。

　これらの研究により、精度が大幅に向上しました。それだけでなく、畳み込み層、入力の画像サイズ、深さ、残差接続(Residual Connection)、注意機構(Attention)等の要素がモデル性能の向上に有効であることがわかりました。

　しかし、これらのモデル開発には大きな弱点があります。それは、モデルアーキテクチャの探索空間が複雑さを増すにつれて、探索空間内で最適化をすることが困難になることです。この流れを受け、強化学習を用いることでチューニングを自動化し、開発者が設定した探索空間から最適なモデルを1つ自動的に見つけるNeural Architecture Search(NAS)が提案されました。このNASを用いて、タスクに依存しないメタアーキテクチャを提案したSpineNet(不気味さすら感じる！AIが発見した検出精度抜群のbackboneモデル「SpineNet」)や、モデルを深さ、幅、解像度の3つの観点からモデルをスケーリングさせることで2019年度の画像分類タスクにおいてSOTAとなったEfficientNetなどが開発されました。

　ただ、手法として優れているNASにも欠点が存在します。それは、NASの結果として得られるのは1つのモデルであり、学習を行ったハードウェアに依存していることです。また、モデルアーキテクチャをデザインする上での原理が理解しづらいことも欠点として挙げられています。 

この記事に関するカテゴリー

• 画像認識
• NAS