超越EfficientNet的NAS！逐步缩小模型架构搜索空间的新方法 "Design Network Space Design"。

三个要点
✔️为了改进传统的NAS方法，逐渐缩小模型架构的搜索空间，开发名为"设计网络空间设计"的方法

✔️由"设计网络空间设计"得到的模型RegNet，是一种简单的正则化方法，用于成功实现了与EfficientNet相同的性能，并在条件下实现了更快的推理时间（最高快5倍）

✔️发现Depth在60层左右就会饱和，而Inverted Bottleneck和Depthwise Convolution会使性能恶化。

Designing Network Design Spaces
written by Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaiming He, Piotr Dolla ́r
(Submitted on 30 Mar 2020) 
Comments: Accepted at CVPR 2020 
Subjects: Computer Vision and Pattern Recognition(cs.CV); Machine Learning(cs.LG)
Code

介绍

提高图像识别的性能

　近年来，图像识别发展迅速。领先的模式之一是

• AlexNet（2012）通过ReLU和Dropout显示Conv层的有效性。
• VGG（2015年），仅用于3x3 Conv层，并通过增加深度（16-22层）提高性能。
• ResNet(2016)，它通过残差连接在原理上解决了梯度损失问题。

等都是众所周知的。

　这些研究使准确性得到了显著提高。不仅如此，卷积层、输入的图像大小、深度、残差连接、注意力机制（Attention）等因素都被发现可以有效提高模型的性能。

　然而，这些模式的发展存在着很大的缺陷。也就是说，当一个模型架构的搜索空间复杂度增加时，在搜索空间内进行优化的难度就会增加。针对这一趋势，提出了神经架构搜索(NAS)，通过使用强化学习，在开发者设定的搜索空间中自动找到一个最佳模型，实现自动调优。利用这个NAS，在SpineNet中提出了一个与任务无关的元架构(SpineNet，AI发现的骨干模型，检测精度突出)和EfficientNet，在2019年的图像分类任务中，通过在深度、宽度和分辨率等方面对模型进行缩放，成为SOTA。

　然而，尽管NAS作为一种方法非常优秀，但也有它的缺点。那就是NAS的结果是一个单一的模型，并且取决于训练的硬件。另一个缺点是，设计模型架构所涉及的原理难以理解。

提出的方法

他们提出"设计网络空间设计（Design Network Space Design）"，缩小了模型架构的候选空间来解决这些问题。强化学习的最终结果不是单一的模型，而是一组模型（模型结构搜索空间，Network Design Space），通过与原有的Network Design Space进行比较，逐渐缩小模型的范围。

作为比较网络设计空间的指标，使用本文第一作者Ilija Radosavovic在2019年提出的方法。该方法在传统的比较最小值的方法上进行了扩展，通过对调优后的参数进行训练（点估计），对我们要调优的模型进行随机抽样，比较得到的结果的分布（分布估计）。互相比较模型。直观上，我们理解这是因为模型的分布比单一模型更稳健，信息量更大。

这种比较Dsitribution Estimate的方法不仅是做一次，而且是多次平均（Empirical Bootstrap），使其更加可靠。

• 
• 
• 

与本文相关的类别

• 图片识别
• 纳斯达克