最新AI論文をキャッチアップ

予測の不確かさを扱える新しい勾配ブースティング「NGBoost」

予測の不確かさを扱える新しい勾配ブースティング「NGBoost」

論文

3つの要点
✔️ 予測の不確かさを扱える勾配ブースティングの新手法「NGBoost」の提案
✔️多変数の予測をするときに問題となる勾配の歪みを自然勾配で補正する

✔️任意の弱学習器・確率分布・スコア関数で使える

NGBoost: Natural Gradient Boosting for Probabilistic Prediction
written by Tony DuanAnand AvatiDaisy Yi DingKhanh K. ThaiSanjay BasuAndrew Y. NgAlejandro Schuler
(Submitted on 8 Oct 2019 (v1), last revised 9 Jun 2020 (this version, v4))

Comments: Published by ICML 2020. Project Page
Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML)

Code

実問題では予測の「不確かさ」も知りたい

AIの重要な応用先として気象予測や医療といった領域がありますが、このような問題でAIの予測を元に意思決定をするには予測の「不確かさ」の推定が必要です。

例えば、AIが明日の気温を23℃と予測したとしましょう。このとき、同じ23℃でも、「訓練データで何度も見た典型例でほぼ確実に23℃」と「見たことのないケースで不確かだけれどもおそらく23℃」では意思決定を変えるべきですよね?前者のケースならシャツ一枚で出かけられますが、後者のケースでは寒くなるかもしれないので上着を持って出かけた方が良いでしょう。

余命の予測や株価の予測といったケースでは、不確かさがより一層重要な情報になります。このように、実問題で機械学習を使った意思決定をするときには予測の不確かさも必要になるケースが多くあります。

本記事で紹介するNGBoost (natural gradient boosting; 自然勾配ブースティング) は、データ解析でよく使われるLightGBMやXGBoostと同じ勾配ブースティングの派生アルゴリズムで、複数の分布パラメータの推定を通して不確かさを推定できるようにしました。

ちなみに、この論文の著者にはオンライン講座「Coursera」の設立者としても有名なAndrew Ngがいて、NGBoostの名前に入っています。

続きを読むには

(3289文字画像14枚)

AI-SCHOLARに
登録いただく必要があります。

1分で無料で簡単登録する

または
本田志温 avatar
AI創薬を研究する学生。CV/NLP/RLなど機械学習を広く勉強しています。 Twiiter(@shion_honda)でも日々簡単な論文紹介をしているのでぜひ覗いてみてください!

記事の内容等について改善箇所などございましたら、
お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。
どうぞよろしくお願いします。

お問い合わせする