そのモデルの予測精度は本当に正しいですか？データ分布のシフトがモデルに与える影響とは？
3つの要点
✔️ データ分布の変化に対してモデルの予測はどの程度信用できるものなのかを検証
✔️ 分布内でキャリブレーションを改善しても、分布シフト後もキャリブレーションが改善されるとは限らない。データセットの変化に対する不確実性は、モデルの学習時に考慮する必要がある。
✔️ データ分布の変化に対しては、Ensemblesの手法が最も堅牢で有効性が高いと考えられる
Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift
written by Yaniv Ovadia, Emily Fertig, Jie Ren, Zachary Nado, D Sculley, Sebastian Nowozin, Joshua V. Dillon, Balaji Lakshminarayanan, Jasper Snoek
(Submitted on 6 Jun 2019 (v1), last revised 17 Dec 2019 (this version, v2))
Comments: Published by Neural Information Processing Systems, 2019
Subjects: Machine Learning (stat.ML); Machine Learning (cs.LG)
はじめに
ディープラーニングは2015年に画像認識のタスクで高精度を達成して以降、さまざまな分野で応用されるようになっています。自動運転や医療診断など重要な意思決定が求められる局面で利用されることも増えています。
しかし、over-confidentという問題があります。これはモデルが正しく予測できないにもかかわらず、大きなスコアを出力してしまう問題です。つまり、（AI関連のプロジェクトでよくある誤解ですが）モデルから出力されるスコアは必ずしも予測確率を表しているわけではなく、そこには不確実性が内包されています。例えば、犬と猫を分類するタスクで、ある画像に対して、犬の予測スコアが0.9、猫の予測スコアが0.1と出力された場合、その画像が90%の確率で犬であるとは言えないということです。
特に実運用されているモデルでは注意が必要です。機械学習は学習データに大きく依存しています。学習データと同じ分布を持つデータであれば、モデルも正しく判断できますが、学習データと異なる多様なデータが入力される実用下では、Over-confidenceの可能性が高くなります。カメラのレンズがぼやけたり、センサーが劣化するなど学習データの分布と実運用下でのデータの分布に変化はよく発生します（共変量シフト）。さらに、そもそも学習データに含まれていないデータに対して予測することもあります。
このように、モデルを安全に適用するためには、分布が変化したデータや分布外のデータに対して堅牢性が必要です。また、このようなリスクがある場合には、モデルの予測がどの程度の確実なものなのかを定量的に把握して、システム利用者が調整できる方が望ましいと言えます。
この論文では、画像、テキスト、オンライン広告のログなど、いくつかのデータタイプに対してモデルの不確実性を定量化・分析しています。また、モデルの不確実性を改善しうる様々な手法を比較して、分布が異なる状況下でどの手法が最適に機能するかを調査しています。
続きを読むには
(8054文字画像10枚)AI-SCHOLARに
登録いただく必要があります。
この記事に関するカテゴリー
