必要なデータは1/8！あるものを3つにする斬新なアイディアで最先端の"賢い"チャットボットを提案！

3つの要点

✔️ デコーダを分離した全く新しい、知識ベースの応答生成モデルを提案
✔️ わずか1/8の学習データで最先端の性能（sate-of-the-art）を達成
✔️ 学習データにない文章に対する返答も、優位に向上

Low-Resource Knowledge-Grounded Dialogue Generation
written by Xueliang Zhao, Wei Wu, Chongyang Tao, Can Xu, Dongyan Zhao, Rui Yan
(Submitted on 26 Sep 2019 (modified: 11 Mar 2020))
Comments: Published by ICLR 2020
Subjects: Computation and Language (cs.CL)

Microsoftが開発しているりんな（XiaoIce）やAmazon AlexaのようなAIアシスタントの広がりにより、雑談対話AI（チャットボット）は近年大きな注目を浴びています。しかし、知識に基づいた会話をすることはチャットボットにとって重要な能力です。このようなチャットボットは殆どの場合、自然な返答をすることができる一方、返答に知識を必要とするような特定の話題では、チャットボットが会話についていけず、人間とAIとの差をはっきりと実感することがあります。

この問題に対して研究者たちは、Web上の文書を用いて解決しようとしています。例えば、Wikipediaの広範囲の記事をデータセットとしたWizard of Wikipediaなどがあります。しかし、そのような最先端のパフォーマンスを達成するモデルは、小さな学習データに対して過学習を起こしてしまうという欠点がありました。過学習というのは学習したデータにあるものは解けるが、学習に用いていないデータに関しては全く解けないといった、汎用性が無い状態です。

そこで筆者たちは、可能な限り少ない学習データでモデルを学習する方法を探求しました。鍵となるアイディアは、知識に基づく返答とはある３つの要素から成ると仮定し、デコーダーをその要素ごとに分けるという一見容易なことですが、その結果以下のこと達成しました。

1. 1/8の学習データで最先端の性能（sate-of-the-art）
2. たった1/16の学習データでも比較的過学習を起こさない

• 
• 
• 

この記事に関するカテゴリー

• 言語処理