経済学と深層学習のコラボレーション！？様々な指標における各ニューロンの貢献度を計算！

3つの要点
✔️ ある評価軸における各ニューロンの寄与度を測定するNeuron Shapleyを提案
✔️ Neuron Shapleyを用いることで、深層学習モデルの精度が非常に少ない数のニューロンの集合（フィルタ）に依存していることを発見
✔️ 深層学習モデルの脆弱性や、バイアスに寄与するフィルタの特定も可能であり、その特定されたフィルタを除くことで、深層学習モデルを修正可能

Neuron Shapley: Discovering the Responsible Neurons
written by Amirata Ghorbani, James Zou
(Submitted on 23 Feb 2020 (v1), last revised 13 Nov 2020 (this version, v3))
Comments: Accepted to arXiv.
Subjects: Machine Learning (stat.ML); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Neural and Evolutionary Computing (cs.NE)
 official

はじめに

皆さんご存じのように、深層学習モデルは従来手法に比べて非常に精度が良く、そして柔軟な手法であることから、ありとあらゆる分野で使用され始めています。一方で、深層学習技術が世の中で当たり前に使用されるようになるためには、乗り越えなければならない問題がいくつか存在します。その一つが、深層学習モデルの内部がブラックボックスであるということです。つまり、深層学習モデルの予測が間違ってしまった場合や、おかしな挙動をした場合に、どの部分がその結果に寄与しているのか人間が理解することが難しいということです。

世の中で当たり前に使用されているものの一つに、自動車があります。もし、自動車がおかしな挙動をした際には、自動車のどこがおかしいのか根本原因を見つけ、修正する必要があります。エンジンがおかしいのか、タイヤがおかしいのか、それともドライバー自身の問題であったのか、これらは特定可能です。このように、深層学習モデルも、何が原因であるのかチェックし、その原因を取り除くことができるようにならないといけません。

深層学習モデルの構成要素は、ニューロン（もしくはその集合であるフィルタ）です。各ニューロンの相互作用によって、予測結果が生み出されます。つまり、各ニューロンの相互作用を考慮したうえで、各ニューロンの予測結果への貢献度を知ることができれば、なぜその予測を深層学習モデルが行ったのか、解釈することが可能となり、そしてその貢献度に応じてモデルの修正を行うことまで可能となります。

今回紹介する論文は、上記のように各ニューロンの貢献度を計算するNeuron Shapleyを提案しています。Neuron Shapleyは、Shapley Valueと呼ばれる経済学の1分野である協力ゲームで使用される指標を、深層学習モデルに適用したものです。以下では、経済学での前提知識を紹介した後、提案手法を説明します。

なかじめ

元々画像認識を専門としていましたが、最近はセキュリティ分野、とくにバックドア攻撃に興味があり様々な論文を読んでいます。また、モデルの精度にはあまり興味がなく、これからAIが普及するにはどのような事が重要になってくるのか、といった視点で日々情報を収集しています。例えば、データのプライバシーや公平なAIに興味を持ち始めました。