LLMエージェントが35%の確率で顧客を購買に誘導することに成功！
3つの要点
✔️ 顧客の感情や説得力を上げるための情報を分析し、関連する事実を用いて応答するマルチエージェントフレームワークを提案
✔️ Sales agentとUser agentの2体のエージェントを用いて、LLMモデルがユーザーを説得する能力を包括的に分析
✔️ 実験の結果、Sales agentは35%の確率でUser agentを肯定的な意思決定に誘導することが分かった
Persuasion Games with Large Language Models
written by Ganesh Prasath Ramani, Shirish Karande, Santhosh V, Yash Bhatia
(Submitted on 28 Aug 2024 )
Comments: Published on arxiv.
Subjects: Artificial Intelligence(cs.AI); Computation and Language(cs.CL)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
はじめに
近年の大規模言語モデル(Large Language Models, LLM)の進歩により、様々な業界において、顧客が特定の要件に合致する製品を選択するプロセスを支援するエージェントが開発されつつあります。
これらのエージェントは、顧客の好みを理解することに優れており、かつ様々な手続きや法的な契約、旅行の計画やスケジュール管理などに関する問い合わせにも対応可能になっています。
一方で、顧客が希望の行動をとる気にさせるように誘導させるためには
- 会話を通じてユーザーの気分や情報を継続的に分析する
- ユーザーに共感を示し、相手を説得して提案を変更させたり検討させたりする
といった既存のエージェント以上の能力が必要になる一方で、これらを達成するためのメカニズムはこれまで開発されてきていませんでした。
本稿ではこうした問題点を解決するために、メインエージェントが説得的な対話を通じてユーザーと直接関わり、補助エージェントが情報検索・応答分析・事実の検証などのタスクを実行するマルチエージェントフレームワークを提案し、LLMエージェントの説得能力を包括的に分析した論文について解説します。
Persuation Framework
本論文では、フレームワークを構築するにあたり、Persuation(説得)という要素に注力しています。
本論文におけるPersuationとは、特定の意図や視点に従って個人の信念や行動を変えるように仕向ける技術のことであり、消費者の選択に揺さぶりをかけようとする商業活動や、支持を集めようとする政治活動などの様々な領域で利用されます。
本論文では、ユーザーの感情や説得力を上げるための情報を継続的に分析し、関連する事実を用いて動的に応答するためのフレームワークである、Persuasion Frameworkを提案しています。
本フレームワークのワークフローを下図に示します。
本フレームワークは主に、Conversation agent・Analyzer agent・Retrieval agent・Strategist agentの4つの異なるエージェントで構成されており、後述するSales agentがこれらのアクセスすることによってタスクを実行します。
ワークの流れとしては、はじめにSales agentがユーザーに挨拶し、会話の目的を述べ、メッセージが相互に送られることから始まります。
ユーザーメッセージを受け取った後、Analyzer agentがメッセージから感情を分類し、Retrieval agentが検索した情報から効果的な応答に役立つ情報を見つけ出します。
その後、Analyzer agentとRetrieval agentは、最終的な発言の決定権を持つConversation agentにフィードバックを行います。
また、並行してStrategist AgentはRAGを使用して専門家によって形成されたマッピングルールを調べ、それが利用できない場合はLLMを用いて戦略を形成し、Sales agentに伝えます。
その後、Sales agentの応答がファクトチェッカーによって検索された情報と照合された後に、ユーザーに送られるという流れになります。
Set up
本論文では、後述する設定で店員側のSales agentと顧客側のUser agentを作成し、3つの評価指標を用いて説得の効果を測定しました。
Sales agent
各Sales agentはgpt-4・gpt-4o・gpt-4o-miniのいずれかの使用し、分野ごとに以下のいずれかのタスクを実行します。
- Banking Agent: ユーザーの好みの基づいてクレジットカードを推薦し、プレミアムカードを取得するように説得を行う
- Insurance Agent: ユーザーにとって有用となるような、適切な保険契約を販売するように説得を行う
- Investment Advisor Agent: ユーザーに現代的な投資方法を販売し、伝統的な投資と現代的な投資のリスク、メリット、両者の違いについての認識を持たせる
これらのタスクを行うSales agentのプロンプトは以下のようになります。
User agent
User agentでは、既存研究によるプロンプトを使用し、25種類の異なるペルソナを作成し、gpt-4やgpt-4oによってシミュレーションします。
加えて、最近のニュースに影響された際の変化を模倣するために、各セッションの開始時にランダムな感情と動機をUser agentに割り当てています。
User agentのプロンプトは以下のようになります。
Evaluation Metrics
本論文では、以下の3つの評価指標を用いて、説得の効果を測定しています。
- Surveys: User agentに会話の事前と事後にアンケートに答えてもらい、その差によってSales agentの説得の効果を測定する
- Action: User agentにbuy・interested・visit_site・need_more_details・no buyの5つの行動を提供し、それぞれの行動によって説得の効果を測定する
- Language analysis: 三人称視点から会話全体を分析し、LLMを使用して事前に定義された評価批評を使用してSales agentの説得の効果を測定する
Experiment
本論文では、店員側のSales agent3体と顧客側のUser agent25体の間で、User agentの感情をランダムに選択した上で300の会話を生成し、それぞれのスコアを測定しました。
加えて、中立的な感情(感情的なプロンプトを使用しない)のエージェント間で会話を生成し、得られた75個のスコアをベンチマークとして使用しました。
実験における、User agentの各Actionの決定割合を下図に示します。
buy・interested・visit_siteを肯定的な購買行動、need more details・no buyを否定的な購買行動をみなした場合、Sales agentはベースラインでは35%、感情を有効にした場合は28%の割合で、User agentを肯定的な意思決定に誘導することができています。
加えて、タスク別のUser agentの会話の長さを下図に示します。
図より、User agentの感情が会話の長さに影響を与えることが分かり、中立的な感情(baseline)を使用した場合、感情あり(experiment)に比べて会話が長くなることが分かりました。
これは「騙された」「裏切られた」などの強い感情が発生すると、User agentが会話を終わらせる傾向が見られるからであり、現実世界に沿ったシミュレーションであると言える結果となりました。
まとめ
いかがだったでしょうか。今回は、メインエージェントが説得的な対話を通じてユーザーと直接関わり、補助エージェントが情報検索・応答分析・事実の検証などのタスクを実行するマルチエージェントフレームワークを提案し、LLMエージェントの説得能力を包括的に分析した論文について解説しました。
本論文で行われた実験では、Salse agentによって提供された情報が不十分であるという理由で、User agentが会話を終わらせる場面が多く見られ、まだまだ改善の余地があると言える結果になりました。
一方で、筆者達は「Sales agentのメモリを強化し、User agentが会話中にデータを検索できるようにすることで、会話をよりダイナミックにする予定である」と述べているため、今後の進展に注目が集まります。
本研究の発展によって、接客業がAIエージェントに代替される日も近いのかもしれません。
今回紹介したフレームワークや実験結果の詳細は本論文に載っていますので、興味がある方は参照してみてください。
この記事に関するカテゴリー
