フィルタ剪定手法HRankが驚きの知見を生み出す

3つの要点
✔️ 単一のフィルタによって生成された特徴マップの重要度がほとんど変化しない
✔️ ランクの低い特徴量マップは情報量が少なく、精度に対して重要ではないことを数学的に証明
✔️ モデルの圧縮と高速化においてHRankが有効性があり、SOTAも獲得

HRank: Filter Pruning using High-Rank Feature Map
written by Mingbao Lin, Rongrong Ji, Yan Wang, Yichen Zhang, Baochang Zhang, Yonghong Tian, Ling Shao
(Submitted 24 Feb 2020 (v1), last revised 16 Mar 2020 (this version, v2))
Comments: Published by CVPR2020
Subjects: Computer Vision and Pattern Recognition (cs.CV)

Code

はじめに

Deep learningにおいて性能を向上させる1つの方法として、モデルの大きさが関わってきます。有名なところで言えば、OpenAIが最近公開したGPT-3は現時点(2020/08/16)で世界No.1のパラメータ数(1750億)という大規模なモデルです。精度のみに重きを置けばモデルを大きくすることは有効な手段ですが、大きくすればするほどデバイスなどへの組み込みが困難になります。さらに巨大なモデルは一研究者には取り扱うことができません。モデルが大きくなれば、その分計算リソースが大規模なものが必要となり、多額な費用が必要になります。また実社会での運用を考えれば、モデルは小さくて組み込みやすい方が扱いやすいのです。これらの課題を解決する技術にpruningがあります。

この記事に関するカテゴリー

• Pruning