教師データを使わないAIの予測精度監視！データセットシフトとドメインシフトを完全に理解しろ！

3つの要点
✔️ 教師データを使わずに、データセットの変化から機械学習モデルの精度低下を定量化する方法を提案
✔️ データセットの変化(dataset-shfit)を定量化する方法をリストアップし、改良を加えた  
✔️ 感情分類モデルにおいて、ドメインシフト量からMAE2.15[%]で予測精度の低下量を回帰する線形モデルを作ることができた

To Annotate or Not? Predicting Performance Drop under Domain Shift
written by Hady Elsahar,Matthias Gallé
(Submitted on 3 Nov 2019)
Comments: Published by EMNLP-IJCNLP2019
Subjects: Machine Learning

導入

 

図1. ドメインシフト量から精度低下を予測する線形回帰モデル

  

　昨今、様々な新しい機械学習モデルが非常に短い頻度で発表されており、日々State of the Artが更新されています。しかし、State of the Artを達成した機械学習モデルがいつでもベストなパフォーマンスを出せるわけではありません。その原因としては機械学習モデルの開発環境において学習に使用したデータと本番環境で予測の対象となるデータの性質が異なるという、いわゆるドメインシフトがするためです。このドメインシフトがどれくらい発生しているのかによって、本番環境では開発環境よりも低い予測精度となってしまいます。

 

　この問題に対応するために、機械学習モデルを組み込んだシステムではモデルの精度や入力データの統計値などを常に監視し、ドメインシフト発生時やモデル精度低下時には予備のモデルに換装したり、早急に再学習を実行すると言った対策を講じる必要があります。しかし、機械学習タスクによっては教師データがすぐに手に入らないためリアルタイムに精度評価ができない(特に画像や言語データを扱う場合に多いかと思います)ケースが存在します。そこで本記事で紹介する論文では、教師データを使わずにドメインシフト量からモデルの精度の劣化具合を推定する方法を提案しています。

 

本記事では、以下のような流れで論文解説を行います。 

1. ドメインシフトとは？
2. ドメインシフトを測る指標
3. ドメインシフト量から予測精度の低下を予測する回帰モデルを作る
4. 回帰モデルの精度評価
5. 結言

この記事に関するカテゴリー

• 自然言語処理
• Domain Shift