标签平滑化背后的真相！！

3个要点
✔️标签平滑化和损失校正技术之间的关系
✔️标签平滑化对标签噪声的影响
✔️标签平滑化在有噪声标签的知识提炼中的应用

Does label smoothing mitigate label noise?
written by Michal Lukasik,Srinadh Bhojanapalli,Aditya Krishna Menon,Sanjiv Kumar
(Submitted on 5 Mar 2020)
Comments: Accepted to arXiv.
Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML)
 

诸如

简单来说，标签平滑化就是将统一向量与现有的训练标签混合，使其"软"起来的过程。它是一种常用的技术，用于在有噪声标签的情况下训练神经网络。据说，它可以提高网络的健壮性。

神经网络可以很容易地适应嘈杂的标签。因此，标签平滑可以被认为是通过减少对具体例子的过度适应来解决噪声标签。然而，它也会通过给所有标签添加统一的噪声来加剧问题。换句话说，这是一把双刃剑。那么，标签平滑化真的会影响深度网络的鲁棒性吗？如果有，又是如何影响的呢？在本文中，我们解释了标签平滑化如何以及何时可以改善模型的性能。

Thapa Samrat