经济学与深度学习的合作!计算各神经元在各种指标中的贡献！。

三个要点
✔️ 我们提出Neuron Shapley，衡量每个神经元对评价轴的贡献。
✔️利用Neuron Shapley，我们发现深度学习模型的准确度取决于非常小的神经元（过滤器）集!
✔️还可以识别出造成深度学习模型弱点和偏差的过滤器，并通过删除识别出的过滤器来修改深度学习模型!

Neuron Shapley: Discovering the Responsible Neurons
written by Amirata Ghorbani, James Zou
(Submitted on 23 Feb 2020 (v1), last revised 13 Nov 2020 (this version, v3))
Comments: Accepted to arXiv.
Subjects: Machine Learning (stat.ML); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Neural and Evolutionary Computing (cs.NE)
 official

首先

众所周知，深度学习模型开始被应用于各个领域，因为它们比传统的方法更加准确和灵活。另一方面，在深度学习技术在世界上普及之前，有几个问题需要克服。其中之一就是深度学习模型的内部是一个黑盒子。这意味着，当深度学习模型做出一个错误的预测或行为奇怪的时候，人类很难理解模型的哪一部分造成了这个结果。

在这个世界上，我们认为理所当然的东西之一就是汽车。如果你的车表现得很奇怪，你需要找到你的车出问题的根本原因，并修复它。不管是发动机、轮胎，还是驾驶员本身的问题，这些都可以确定。这样一来，深度学习模型也应该能够检查出是什么原因导致的问题，并将其删除。

深度学习模型的构件是神经元（或过滤器，是神经元的集合）。预测结果是由每个神经元的相互作用产生的。换句话说，如果我们能够通过考虑每个神经元的交互作用，知道每个神经元对预测结果的贡献，我们就可以解释为什么深度学习模型做出了预测，甚至可以根据贡献修改模型。

这里提出的论文提出了Neuron Shapley，它可以计算每个神经元的贡献，如上所述.Neuron Shapley是Shapley Value的应用，Shapley Value是经济学的一个分支--合作游戏中使用的一个度量，它应用于深度学习模型。在下文中，我们将介绍经济学中的一些假设，然后描述所提出的方法。

なかじめ