アリババ発、カスタマーサービスの満足度を対話ログから予測

3つの要点

✔️顧客のカスタマーサービスに対する満足度を対話ログから分析
✔️カスタマーサービスに特化したニューラルネットワークモデルを提案
✔️従来の感情分析モデルなどに比べて高い性能で顧客の満足度を予測可能

Using Customer Service Dialogues for Satisfaction Analysis with Context-Assisted Multiple Instance Learning
Kaisong Song, Lidong Bing, Wei Gao, Jun Lin, Lujun Zhao, Jiancheng Wang, Changlong Sun, Xiaozhong Liu, Qiong Zhang
EMNLP 2019

BtoCビジネス(Business to Consumerの略、企業(business)が一般消費者(Consumer)を対象に行うビジネス形態のこと)において、顧客が企業と接触する手段の一つとしてカスタマーサービスがあります。カスタマーサービスでは顧客と企業が直に触れ合うため、ここでの対応が顧客の企業イメージに直結します。そのため、実際にカスタマーサービスを利用した顧客が対応に満足しているかを分析し、サービス改善へとつなげていくことが重要です。当然、人手で全ての対話ログを分析することは難しいため、自然言語処理の技術で分析を自動化する必要があります。この記事では、2019年に自然言語処理のトップカンファレンスであるEMNLP2019にてアリババグループから発表された、カスタマーサービスにおける顧客満足度の分析に関する論文をご紹介します。

なお、本研究で使用されたカスタマーサービスのデータセットは以下で公開されています(単語IDのみが配布され、実際の対話は復元できないようになっています)。
https://github.com/songkaisong/ssa

カスタマーサービスにおける満足度

上図は本研究で想定しているカスタマーサービスを示したものです。今回想定しているカスタマーサービスでは、1人の顧客(Customer)と1人の担当者(Server)による複数ターンの発話(Utterance)が行われます。実際のサービスと同様に、各発話者が数回連続して発話する状況も考慮されています。

カスタマーサービスにおける各発話は、肯定的(Positive)・中立的(Neutral)・否定的(Negative)の三つの感情が元になっていると仮定し、図ではそれぞれ赤・オレンジ・青の吹き出しで発話の感情を表しています。図からわかる通り、対応担当者の発話は一貫して中立的であるのに対し、顧客の発話は対話を通して様々に変化し、上の例では対話が進むにつれて否定的になっていきます。結果として、このサービス全体での顧客の満足度(Satisfaction Rating)は星1つとなっており、総じて不満であったとラベルづけされています。

本研究では、こうしたカスタマーサービスの対話ログを入力とし、対話が終了した時点でのもっともらしい顧客の満足度を出力するタスクとして問題を定義しています。なお、図では満足度が星五つで評価されていますが、実験では星1~2が不満、3が普通、4~5が満足とみなした三値分類問題として取り扱います。

カスタマーサービスに特化した満足度判定モデル

満足度予測の鍵は担当者の発話

カスタマーサービスの対話ログから顧客の満足度を予測する時、単純な方法としては顧客の発話を元に感情分析を行うものが考えられます。上で挙げた対話例であれば、後半の顧客の発話は全て否定的な感情によるものであるため、サービスに対する満足度も低いと考えることができます。あるいは顧客による発話において、否定的な感情による発話が多い場合をサービスに対する満足度が低いと分類することも考えられます。しかし、こうした顧客による発話だけを頼りにした手法では、顧客の否定的な感情がサービス担当者に起因したものであるかが判断できません

例えば購入した商品に対して不満である旨をカスタマーサービスに問い合わせたところ、返金対応が受けられるとわかり顧客が対応に満足した事例を考えます。顧客の発話のうち半分近くが商品に対する不満を陳述するものであった場合、上で述べたような手法では対話のほとんどが否定的な発話であるために、カスタマーサービスに不満を抱いたと判定してしまいます。

そこで本研究では、カスタマーサービスの担当者の発話にこそ有益な情報が含まれていると考え、これを有効活用できるモデルを提案しています。本論文で提案された手法は、担当者の発話から次の二つの手がかりを考慮できるように設計されています。

顧客の感情に関係する手がかり(Sentiment Clue)は、顧客の感情の変化を引き起こす担当者の発話です。担当者の発話は基本的に中立的ですが、その発話を元にして顧客の感情は様々に変化します。例えば上の対話例であれば、u6の発話で担当者が「品質に問題がないのであれば、送料の返金はできない」と発話したことが、u7での顧客の否定的な発言を引き起こしたと考えられます。

顧客の発言を補足するための手がかり(Reasoning Clue)は、顧客と担当者の対話の流れを掴むために用いられます。担当者の発話が、顧客のどの発話に対応しているかを考慮することで、より的確に対話内容を把握することを目的としています。例えば上の対話例では、u6の発話は直前のu5で顧客が「どうやって送料を返してもらうのか」という質問に対応しています。この例だけでは、Reasoning Clueを考慮する旨味が感じられませんが、複数の質問が五月雨式に顧客から発話され、順番に担当者が答えていくような場面であれば、この手がかりを考慮することで担当者のどの発話がどの質問に対応しているかを分析でき、性能に良い影響を与えると考えられます。

顧客と担当者の発話に応じた分類モデル

上図は本論文で提案されたモデルの概要を示しています。Input Representation Layerでは対話ログのエンコードを行います。顧客、担当者それぞれの発話をLSTMでベクトルへとエンコードし、発話者ごとにベクトルを分けておきます。図では、エンコードされたベクトルがそれぞれServer UtterancesとCustomer Utterancesに振り分けられていることが確認できます。

エンコードされた顧客の発話は、図右上の満足度分類器へと送られます。Sentiment Classification Layerでは、エンコードされた顧客の発話を用いて感情分析を行います。このレイヤーでは、顧客の発話が肯定的・否定的・中立的のどの感情によって引き起こされているかを予測します。上述した通り、提案手法では担当者の発話が顧客の満足度を分析する上で重要であると仮定しています。そこで、顧客の各発話に担当者のどの発話が影響を与えているかを図左上のレイヤーで計算し、その要素を盛り込むような設計としています(図では⊕で担当者側の発話情報が流入していることに注目してください)。

予測された感情分析の結果と、エンコードされた顧客の発話もとにして、Satisfaction Classification Layerでは、対話全体での顧客の満足度が満足・不満・充分のうちどれであるかを予測します。満足度を予測するために重要となる顧客の発話に注目するために、ここでは感情分析の予測結果を用いた注意機構を導入しています。

提案手法は、最終的な顧客の満足度のみを教師信号として学習を行います。すなわち、感情分析に関する教師信号は利用せず、各発話の感情を自動で予測するモデルとなっています。対話ログの各発話に感情ラベルが付与されている必要がないため、データを作る上でもアノテーションの手間が省け、嬉しいモデルとなっています。

既存手法よりも精度よく満足度分類が可能

提案手法は、ネットショッピングサイトから収集された実際のカスタマーサービスの対話ログを用いて評価されています。下表は衣類の分野でのカスタマーサービスにおける満足度の分類性能を示しています。表上段は単文の感情分析のために提案された従来手法、下段は対話における感情分析のために提案された手法です。本論文での提案手法はCAMILとして表記されており、従来手法に比べて高い性能で満足度を予測できていることがわかります。表では各満足度のラベルごと(WS: 満足、MT: 充分、US: 不満)にモデルの性能を表すF1値が計算されており、従来手法に比べて特に満足のラベルで性能が大幅に向上していることがわかります。

提案手法では担当者の発話に、Sentiment ClueとReasoning Clueという二つの手がかりがあると仮定していました。表のうちCAMIL_sは感情に関する手がかりのみを用いた手法、CAMIL_rは顧客の発言に関する手がかりのみを用いた手法、CAMIL_fullはその両方を使った手法となっています。結果より、感情に関する手がかりが比較的重要であることがわかり、特に二つの手がかりを同時に使うことで性能が大幅に向上することが示されています。

下図は、あるカスタマーサービスの対話に対して、提案手法(赤)と従来手法(青)が予測した顧客の感情ラベルと、対話全体の満足度を示しています。従来手法が対話全体の満足度を充分だと予測しているのに対し、提案手法では正しく不満であると予測できています。さらに、顧客の各発話においても、従来手法が中立的であると予測した発話を正しく否定的と予測的ていることも確認できます。

まとめ

この記事では、カスタマーサービスの対話ログから顧客の満足度を予測する実用的な手法について紹介しました。カスタマーサービスの満足度分析は、クレーム対応などのサービス向上などにおいて、非常に重要なタスクであると考えられ、今後の研究動向にも注目したい分野です。

本研究はアリババグループから発表されており、(明記されていませんが)実験に用いられたデータはおそらくアリババグループのサービスから作成されていると考えらます。こうした生データを扱う研究は、データを持っている企業だからこそできる研究と言えます。今回の研究で使用されたデータはGithub上にて公開されているため、実際に自分でモデルを作って実験してみることもできます。もちろん、プライバシーの関係で全ての単語はID化されており、実際の対話を読むことはできません。とはいえ、こうした重要なデータセットを公開したことはそれだけで評価されるべきでしょう。今後も、本データセットを用いたさらなる技術の進歩が期待されます。

 

サイエンスライター募集中

この記事をシェアする