木構造でニューラルネットワークを解剖！？精度と解釈性のトレードオフを解消するNBDTとは

3つの要点
✔️ディープニューラルネットワーク（DNN）の解釈性を向上するためにDNNと決定木を組み合わせる手法が提案されてきたが、既存の手法は精度が悪く、DNNの構造を大きく変えてしまう点で問題があった。
✔️ 本論文では、Neural-Backed Decision Trees（NBDTs）によって上記の問題を解決する。Tree Supervison Lossと言う損失関数を導入することで、DNNの構造を変えず、通常のDNNから大きく精度を落とさずに、解釈性のあるモデルとして、SOTAを達成した。
✔️ NBDTsが計算過程の意味を解釈できる量的・質的根拠を示している。

NBDT: Neural-Backed Decision Trees
written by Alvin Wan, Lisa Dunlap, Daniel Ho, Jihan Yin, Scott Lee, Henry Jin, Suzanne Petryk, Sarah Adel Bargal, Joseph E. Gonzalez
(Submitted on 1 Apr 2020)
Comments: Published by arXiv
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Neural and Evolutionary Computing (cs.NE) 

この論文の新規性を理解するためにも、まずはこれまでの研究を簡単に振り返りましょう。DNNが他の学習手法よりも盛んに研究されるようになるにつれ、DNNと決定木を組み合わせる研究も多くなされるようになりました。

• 決定木→ニューラルネットワーク
  ニューラルネットワークの初期重みを決定木によって作り出すことが昔から行われてきました。
• ニューラルネットワーク→決定木
  蒸留を使って、ニューラルネットワークの入出力を決定木で再現する研究がなされていますが、これらは主にUCIやMNISTなどの比較的シンプルなデータで評価されてきました。本論文ではCIFAR-10やCIFAR-100、Tiny-ImageNetなどより複雑なデータセットを使います。
• ニューラルネットワーク＋決定木
  より新しい研究ではニューラルネットワークと決定木を組み合わせる試みがなされています。The Deep Neural Decision ForestはImageNetタスクでニューラルネットワークに匹敵する性能を発揮しましたが、これはResNetのような残差ネットワークが登場する以前の性能ですし、このモデルはランダムフォレストのようにモデルの解釈性を犠牲にしています。Murthyらにより、決定木の各ノードに対してニューラルネットを作ることで解釈性のあるネットワークを作る手法が提案され、NofEと言う手法は各ニューラルネットのバックボーン（特徴抽出をする層）を共有することでpre-ResNetに近い性能を発揮していますが、NofEは深さ2までの決定木にしか対応していません。

本研究ではこれよりさらに進んで、バックボーンだけでなく全結合層（推論をする層）も共有することで、残差ネットワークのようなSOTAモデルに匹敵する性能と解釈性を獲得しています。

• 
• 
• 

この記事に関するカテゴリー

• 論文
• 画像認識
• Decision Trees
• Neural Network