予測の不確かさを扱える新しい勾配ブースティング「NGBoost」

3つの要点
✔️ 予測の不確かさを扱える勾配ブースティングの新手法「NGBoost」の提案
✔️多変数の予測をするときに問題となる勾配の歪みを自然勾配で補正する
✔️任意の弱学習器・確率分布・スコア関数で使える

NGBoost: Natural Gradient Boosting for Probabilistic Prediction
written by Tony Duan, Anand Avati, Daisy Yi Ding, Khanh K. Thai, Sanjay Basu, Andrew Y. Ng, Alejandro Schuler
(Submitted on 8 Oct 2019 (v1), last revised 9 Jun 2020 (this version, v4))
Comments: Published by ICML 2020. Project Page
Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML)

Code

実問題では予測の「不確かさ」も知りたい

AIの重要な応用先として気象予測や医療といった領域がありますが、このような問題でAIの予測を元に意思決定をするには予測の「不確かさ」の推定が必要です。

例えば、AIが明日の気温を23℃と予測したとしましょう。このとき、同じ23℃でも、「訓練データで何度も見た典型例でほぼ確実に23℃」と「見たことのないケースで不確かだけれどもおそらく23℃」では意思決定を変えるべきですよね？前者のケースならシャツ一枚で出かけられますが、後者のケースでは寒くなるかもしれないので上着を持って出かけた方が良いでしょう。

余命の予測や株価の予測といったケースでは、不確かさがより一層重要な情報になります。このように、実問題で機械学習を使った意思決定をするときには予測の不確かさも必要になるケースが多くあります。

本記事で紹介するNGBoost (natural gradient boosting; 自然勾配ブースティング) は、データ解析でよく使われるLightGBMやXGBoostと同じ勾配ブースティングの派生アルゴリズムで、複数の分布パラメータの推定を通して不確かさを推定できるようにしました。

ちなみに、この論文の著者にはオンライン講座「Coursera」の設立者としても有名なAndrew Ngがいて、NGBoostの名前に入っています。

• 
• 
• 

この記事に関するカテゴリー

• 論文
• 機械学習