パラメータチューニングは経験値の差がものをいう黒魔術！？

3つの要点
✔️ 深層学習の事前経験がモデルの精度にどのような影響を与えるのか
✔️ 異なるレベルの経験を持つ31人の参加者を対象とした実験を実施
✔️ 上級者と未経験者のパラメータチューニングの仕方の違いが判明

Black Magic in Deep Learning: How Human Skill Impacts Network Training
written by Kanav Anand, Ziqi Wang, Marco Loog, Jan van Gemert
(Submitted on 13 Aug 2020)
Comments: Published by at the British Machine Vision Conference, 2020
Subjects: Computer Vision and Pattern Recognition (cs.CV)

はじめに

皆さんは深層学習において、モデルの精度を上げようと思ったら何をしますか？モデル設計、訓練データの加工など様々なアプローチがありますが、その中でもハイパーパラメータチューニングほど謎に満ちたものはないでしょう。ハイパーパラメータチューニングは重要ですが、決まった法則もわかっておらず、ほとんどが人の経験によって行われています。

今回は、ハイパーパラメータチューニングについて、深層学習の経験がモデルの精度にどのような影響を及ぼすのかを検証した実験を紹介していきます。

岩瀬 晃司