滤镜修剪法HRank产生惊人的发现

三个要点
✔️单一滤波器生成的特征图的重要性变化不大

✔️数学证明，低级特征图的信息量较少，对精度不重要。

✔️在压缩和加速模型中HRank有效并获得SOTA

HRank: Filter Pruning using High-Rank Feature Map

written by Mingbao Lin, Rongrong Ji, Yan Wang, Yichen Zhang, Baochang Zhang, Yonghong Tian, Ling Shao
(Submitted 24 Feb 2020 (v1), last revised 16 Mar 2020 (this version, v2))
Comments: Published by CVPR2020
Subjects: Computer Vision and Pattern Recognition (cs.CV)

Code

介绍：

提高深度学习性能的方法之一是通过模型的大小。OpenAI最近发布的GPT-3是目前（2020/08/16）世界上参数数量最多的模型（1750亿）。如果我们只关注精度，将模型做大是实现这一目标的有效方法，但模型越大，将其集成到设备中就越困难。然而，模型越大，集成到设备中就越困难。 此外，单个研究人员无法处理大型模型。模型越大，处理它所需要的计算资源就越多，成本也就越高。另外，从实际应用的角度来看，如果一个模型体积小，容易嵌入，那么处理起来就比较方便。有一种叫做"修剪"的技术可以解决这些问题。

Pruning

Pruning的过程是顾名思义，它是一种在不影响性能的前提下降低训练好的深度学习模型的权重的技术，顾名思义，它是一种切断模型的部分内容来降低权重的方法。

形象地说，假设解决一个任务所需的参数数是100万。但如果用于解决任务的模型的参数数量是1100万，那么大约有1000万（1100万-100万）个无用参数。我们的想法是在保证精度的前提下，通过切断模型的那些部分来减轻模型的重量。

但是，解任务所需要的参数数量等都是未知的，所以基本上我们是对模型中不涉及精度的部分进行估计和删除。给你修剪有它的挑战。如何估计系统中不涉及精度的部分是这对修剪和进一步的挑战。修剪的人工和成本也是一个难题。这里之所以没有解决这个问题，是因为模型中各组成部分的作用和功能在理论上还没有被理解。从这里开始，我们将从一般的我们简单看一下修剪法。

• 
• 
• 

与本文相关的类别

• 剪枝