MBTIを用いてLLMに人間の性格を評価させるフレームワークが登場！

ChatGPT 2024年04月22日

3つの要点
✔️ Myers Briggs Type Indicators(MBTI)を介してLLMから人間の定量的な性格を評価するためのフレームワークを提案
✔️ 人間の性格を評価するLLMの能力を体系的に調査するための3つの評価指標を提案
✔️ 複数の実験により、LLMが人間の性格特性の評価に有効であると分かった

Can ChatGPT Assess Human Personalities? A General Evaluation Framework
written by Haocong Rao, Cyril Leung, Chunyan Miao
(Submitted on 1 Mar 2023 (v1), last revised 13 Oct 2023 (this version, v3))
Comments: Accepted to EMNLP 2023. Our codes are available at this https URL
Subjects: Computation and Language (cs.CL); Artificial Intelligence(cs.AI)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

はじめに

近年、ChatGPTに代表される大規模言語モデル(Large Language Models, LLM)は膨大な知識ベースとファインチューニングにより、文脈を考慮した高度な会話を行うチャットボットとして、様々な分野で利用されています。

こうした背景と近年の研究により、LLMは人間のような自己改善能力と推論能力を有しており、仮想的な人格や心理を持っていると示唆されてきています。

一方で、既存研究ではLLMの正確特性を調査することはあっても、LLMが人間の性格を評価できるかどうかはほとんど調査されていませんでした。

こうした調査は、「LLMは人間についてどのように考えているのか」というLLMが人間をどの程度まで理解しているかを明らかにする可能性を秘めています。

本稿ではこうした背景から、LLMに人間の性格を評価させるという新しいアイデアを導入し、Myers Briggs Type Indicators(MBTI)を介してLLMから人間の定量的な性格を評価するためのフレームワークを提案した論文について解説します。

Myers Briggs Type Indicator(MBTI)とは

Myers Briggs Type Indicator(MBTI)は、質問によって個人が世界をどのように認識し、どのように意思決定を行うかについての心理的傾向を評価し、

E(Extraverted＝外向的) ↔︎ I(Introverted＝内向的)
N(Intuitive＝直感的) ↔︎ S(Observant＝観察的)
T(Thinking＝思考的) ↔︎ F(Feeling＝感情的)
J(Judging＝判断的) ↔︎ P(Prospecting＝知覚的)
A(Assertive＝自己主張的) ↔︎ T(Turbulent＝情緒的)

の判断基準に基づいて性格タイプに識別する尺度になります。

フレームワークの概要

本論文で提案されたフレームワークの全体像は下図のようになっています。

図のように、本フレームワークは以下の3つの要素で構成されています。

(a)Unbiased Prompt Design

(b)Subject-Replaced Query

(c)Correctness-Evaluated Instruction

(a)Unbiased Prompt Design

LLMは通常、プロンプトのバイアス(例：語順の変化)に敏感であり、特に長い文章を扱う場合にこれらのバイアスは生成される回答の一貫性と正確性に大きな影響を与える可能性があります。

そこで本フレームワークでは、より一貫性のある公平な回答を促すために、入力された質問に対してバイアスのないプロンプトを設計する手法であるUnbiased Prompt Designを提案しています。

具体的には、MBTIの各質問に対して質問文は変更せずに、利用可能な全ての選択肢をランダムに並べ替え、複数の独立した質問の平均結果を最終的な結果として利用しています。

(b)Subject-Replaced Query

本フレームワークの目的は、LLMに人間の性格を分析させることであるため、各質問の元の主語を特定の対象に変換することで、主語を置き換えた質問であるSubject-Replaced Queryにしています。

例えば、LLMに男性の一般的な性格を評価させたい場合、"You"という主語を"Men"に置き換え、それに対応して"Your"という代名詞を"Their"に変換します。

(c)Correctness-Evaluated Instruction

ChatGPTのようなLLMは個人的な感情や信念は持たないように訓練されているため、一般的な命令で人間の人格についてLLMに直接質問することは困難であるという課題があります。

この課題を解決するために、本フレームワークでは下図に示すようにLLMに質問文の正しさを評価させるCorrectness-Evaluated Instructionを提案しています。

本手法では、図のように元の選択肢である{disagree, agree, generally disagree...}を{wrong, correct, generally wrong...}に変換することで、バイアスのないプロンプトを構成し、ChatGPTに質問に対して中立的な回答ではなく、より明確な回答をさせることを可能にしています。

評価指標

本論文では、人間の性格を評価するLLMの能力を体系的に調査するためにConsistency Score・Robustness Score・Fairness Scoreの3つの評価指標を提案しています。

Consistency Score

LLMによって性格評価をされた同じ被験者の結果は一貫している必要があるため、本論文では全てのMBTIテストの結果と最終結果(＝平均スコア)の間の類似性を表すConsistency Scoreを提案しています。

Consistency Scoreは以下の式によって計算されます。

ここでX_iはi番目のテストにおけるMBTIテストのスコアであり、全てのMBTIテストの結果と平均スコアとの差が小さいほど、Consistency Scoreが高いことを示すことができます。

Robustness Score

MBTIテストの選択肢の順序に関係なく、同じ被験者を同じ性格特性として分類できることが理想的であり、本論文ではこうした基準をRobustnessと定義し、LLMのRobustnessを測定するために、順序を固定する場合とランダムに選択される場合の平均スコア結果の類似性を計算するRobustness Scoreを提案しています。

Robustness Scoreは以下の式によって計算されます。