「知らない」が分かるAI：ローリソース環境で未学習のドメインを検知する！

3つの要点
✔️ 文書分類タスクにおいて学習データに含まれていないドメインを検知する手法を提案
✔️ 未知ドメインを検出するための学習データを個別に用意せずに学習可能
✔️ 対話データなどの実践的なデータセットにおいて正しく未知ドメインを検出できていることを確認

Out-of-Domain Detection for Low-Resource Text Classification Tasks
written by Ming Tan, Yang Yu, Haoyu Wang, Dakuo Wang, Saloni Potdar, Shiyu Chang, Mo Yu
(Submitted on 31 Aug 2019)
Comments: Published by EMNLP 2019
Subjects: Computation and Language (cs.CL); Machine Learning (cs.LG); Machine Learning (stat.ML)

実践的なチャットボットや文書分類などのシステムに自然言語処理を組み込むとき、モデルが学習できていないドメイン（未知ドメイン）をどのように処理するべきかは悩ましい問題です。ユーザーが未知ドメインに関する入力を行った場合、モデルはその内容をうまく理解できないまま、無理やり答えを出そうとしてしまいます。その結果、応答の品質低下などの問題が発生してしまいます。

下表はスケジュールの調整などを目的としたチャットボットの運用における入力文の分類例を示しています。「どんなことができますか」という入力に対しては「Help_List」、「歯医者の予約をして」に対しては「Schedule_Appointment」といったラベルが付与されており、ユーザーの入力文からチャットボットが適切な処理を行えるように、その入力文の意図をラベルとしてテキスト分類を行っています。

こうした応答を行うモデルを作成するために、スケジュールの設定やTODOリストの管理など、事務的な発話を対象としたドメインのデータセットを用意して学習します。一方でユーザーは自由にテキストを入力できるため、表下段のような「誕生日が近いんだ」などの事務的な内容とは関係のない発話がモデルに入力される場合があります。このモデルは、こうしたラフな会話に関するドメインの知識については学習できていません。

このような未知ドメインについての入力は、例外として処理することが期待されます。しかし、一般的なニューラルネットワークを用いた文書分類モデルは無理やり応答を出力してしまうため、サービスの品質低下につながってしまいます。そこで、学習データに含まれていないような入力を自動で検出するための手法が必要となります。本記事では、学習したいドメインのデータ（既知ドメイン）だけを用いて、未学習のドメインを検出できる手法についての研究をご紹介します。

tat

博士後期課程で自然言語処理の研究をしています。肉と寿司が好きです。 主に自然言語処理に関する論文を紹介しています。