その知識は本当に有用？知識を用いた対話生成の教師なし手法"Decoupling"を提案

3つの要点
✔️ 対話生成モデルにおける外部知識の影響を示唆
✔️ 知識を用いた対話生成で"Decoupling"という教師なし学習による手法を提案
✔️ データセットにおける知識のギャップ問題を体系的に説明

Unsupervised Injection of Knowledge into Dialogue Generation via Language Models
written by Yi-Lin Tuan, Wei Wei, William Yang Wang
(Submitted on 30 Apr 2020)
Comments: Published by arXiv
Subjects: Computation and Language (cs.CL)

はじめに

　応答対話生成は、自然言語処理の最終応用としてしばしば見られ、対話の履歴を正しく理解し、人間らしい応答を生成する能力を習得することを目的としています。

これまでのところ、既存のチャット生成モデルはいくつかのよく知られた問題に悩まされています。モデルが、例えば「そうですね」のような有用な情報なしに一般的な応答（generic responses や dull responses と呼ばれる）を生成する傾向があることが挙げられています。

この分野の最新研究は、Person-Chat（役を演じるように求められたクラウドワーカー間の会話を学習するようなもの）や、LIGHT(アドベンチャーゲームを使った研究)、そしてWizard of Wikipediaなどのように、会話以外のデータ（外部知識）を用いて対話対話生成をする研究が多く挙げられます。

例えばPerson-Chatを例にとると、対話の履歴に加えて、“my favorite sport is ultimate frisbee”のように、話し手の情報を説明することがあります。そのように情報を指定することによって、モデルが一般的な応答ではなく、よりドメイン固有な応答を生成することを可能にしています。

しかし、話し手が常にそのような情報を話してくれるとは限りません。そして、そのような知識がない場合、うまく学習ができず、訓練と推論が欠陥的になりかねません。

この知識不足に対する問題の対処として研究があり、AI-Scholarでもこちらに記事があります。

著者らによれば、そちらの研究では推論段階における影響が調査されていない！と主張していて、こちらの研究では推論段階における影響を調査するのが主目的になりそうです。

• 
• 
• 

この記事に関するカテゴリー

• 自然言語処理
• natural language processing