ラベルスムージングに隠された真実！

3つの要点
✔️ label smoothingとloss-correction技術の関係
✔️ ラベルノイズに対するラベル平滑化の効果
✔️ ノイズの多いラベルを用いた知識蒸留におけるラベル平滑化の応用

Does label smoothing mitigate label noise?
written by Michal Lukasik,Srinadh Bhojanapalli,Aditya Krishna Menon,Sanjiv Kumar
(Submitted on 5 Mar 2020)
Comments: Accepted to arXiv.
Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML)
 

はじめ

簡単に言うと、label smoothing(ラベル平滑化)とは、利用可能な学習ラベルに一様なベクトルを混合し、それらを "ソフト"にするプロセスのことです。これは、ノイズの多いラベルの存在下でニューラルネットワークを訓練する際に一般的に使用されている手法です。ネットワークのロバスト性を向上させると言われています。

ニューラルネットワークは、ノイズの多いラベルにも簡単に適合してしまいます。したがって、ラベルスムージングは、特定の例に対する過剰適応を減らすことで、ノイズの多いラベルに対処すると考えることができます。しかし、すべてのラベルに一様なノイズを追加することで問題を悪化させることもあります。すなわち両刃の剣です。では、ラベルスムージングは本当にディープネットワークのロバスト性に影響を与えるのでしょうか？もしそうだとしたら、どのように影響するのでしょうか？この論文では、ラベルスムージングがどのように、そしてどのような場合にモデルの性能を向上させるのかを説明します。

Thapa Samrat

今大阪大学の電子情報工学科で学習している2年生のネパールからの留学生です。 機械学習・深層学習に興味あります。だから、暇なときにそれらについて記事を書いています。