GPTは他者の心の状態を推測できる？AI×心理学のすゝめ
3つの要点
✔️ 人間のように他者の心の状態を推測する能力（ToM）がGPTにあるかを検証するために、子ども向けの課題を解かせたところ、GPT-3.5とGPT-4は高い正答率を示しました。
✔️ 本能力は、言語モデルに意図的に組み込まれたものではなく、言語能力の向上に伴って自発的に出現した可能性が高くなっています。
✔️ 本研究は、心理学的な視点が、複雑なAIの研究において有用と示唆しています。
Theory of Mind May Have Spontaneously Emerged in Large Language Models
written by Michal Kosinski
(Submitted on 4 Feb 2023 (v1), revised 14 Mar 2023 (this version, v3), latest version 11 Nov 2023 (v5))
Comments: TRY RUNNING ToM EXPERIMENTS ON YOUR OWN: The code and tasks used in this study are available at Colab (this https URL). Don't worry if you are not an expert coder, you should be able to run this code with no-to-minimum Python skills. Or copy-paste the tasks to ChatGPT's web interface
Subjects: Computation and Language (cs.CL); Computers and Society (cs.CY); Human-Computer Interaction (cs.HC)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
概要
大規模な言語モデルにおいて、心の理論（ToM）と呼ばれる他人の観察できない精神状態を理解する能力が自然発生的に現れる可能性があることを示唆する論文です。
この論文では、GPT-3およびその後継モデルがToMタスクにおいて驚異的な進化を遂げ、例えばGPT-4はほぼ全ての課題を解決するまでに至りました。
これは、言語モデルの発展が人間の社会的相互作用、コミュニケーション、共感、自意識、道徳といった重要な側面を反映する可能性があることを示しています。言い換えれば、ToMのような高度な認知能力は、言語モデルによる言語スキル向上の副産物かもしれません。
導入
動物は様々な手がかりを使って他者の行動や精神状態を予測しますが、人間は視覚的なサインだけでなく他者の知識や意図などの非可視の精神状態を把握する「心の理論（ToM）」と呼ばれる能力があります。
このToMは人間の社会的相互作用、コミュニケーション、共感、自意識、道徳的判断に中心的な役割を果たしており、精神疾患の特徴ともなっています。動物や類人猿はToMにおいて人間に比べて遅れており、人工知能（AI）にToMのような能力を組み込むことが課題とされています。
興味深いことに、大規模な言語モデルはToMを自発的に発展させる可能性があり、人間のような言語を生成および解釈するトレーニングを受けたモデルはToMを所有することで大きな利益を得る可能性があります。これにより、例えば自動運転車が人間の意図をより正確に予測し、仮想アシスタントが家庭内の精神状態を理解する際の効果が向上するでしょう。
AIにToMのような能力を組み込むことが大きな課題とされる中、この研究では言語モデルがToMを自然に獲得する可能性を提案し、その有望な展望を示唆しています。
予期しない内容のタスク （ スマーティーズタスク）
ToMは他者の信念や精神状態を理解し、行動を予測する能力で、これまで人間に特有のものと考えられてきました。しかし、この研究では、言語モデル（GPT-3.5）が予測不能な状況に対する人物の信念を理解し、物語の展開に応じて適切に反応することを示しています。
ここでは、「予測不能なコンテンツタスク」と呼ばれるToMタスクを用い、GPT-3.5が物語のキャラクターが持つ信念を適切に予測できることを実証しています。例えば、袋に「ポップコーン」と書かれているのに中身が「チョコレート」である場合、モデルはキャラクターの混乱や失望を適切に予測できます。
上図は、GPT-3.5の理解と応答の変化を追跡するための実験の結果を示しています。
左のパネルでは、GPT-3.5が袋の中身がポップコーンであることを正確に理解し、その理解がストーリー全体で一貫しています。青い線は、「ポップコーン」の可能性を示し、緑の線は「チョコレート」の可能性を示しています。
右のパネルでは、登場人物（サム）の信念に関するGPT-3.5の予測が追跡されています。最初では、「ポップコーン」が高確率で予測され、サムが袋の中身を見たときには混乱が生じることも予測されています。次に、サムの信念が「チョコレート」であると予測され、その信念が間違っていることも認識されています。最後では、サムがバッグを開けて喜ぶ場面が提示され、GPT-3.5はサムの信念の変化と喜びの可能性も予測しています。これにより、GPT-3.5がサムの観察できない精神状態を推測し、物語の展開に合わせて適切に反応する能力が示唆されています。これは、言語モデルが観察できない精神状態を推測し、それに基づいて行動を予測するToMの特性を示唆しています。
結果から、言語モデルが単なる単語の頻度によってではなく、物語の論理や情報の流れに基づいて信念を形成し、変化させることが示されています。これは、大規模な言語モデルがToMのような高次の認知能力を、特定の訓練なしに自発的に発展させる可能性を示唆しており、これによってAIシステムが現実の複雑な状況により柔軟かつ洞察力を持って対応できる可能性があります。
予期しない転送タスク （マキシタスク または サリーアンテスト）
この実験では、特定のシナリオが描かれており、主人公が外出中に帰宅すると、飼っている猫がいなくなっている状況が設定されました。研究では、このストーリーに対するGPT-3.5の理解を探りました。
左のパネルでは、実際の猫の位置の変化が、右のパネルではジョンの信念に基づくGPT-3.5の理解の変化が示されています。具体的には、猫の位置とジョンの信念に関するモデルの推論がどのように変化したかを可視化しています。
この実験から、GPT-3.5は他者の誤った信念を的確に予測し、その信念に基づく行動を模倣する能力を持っていることが示されました。つまり、モデルはストーリーを理解し、特に猫の位置とジョンの信念に関する推論を正確に行うことができました。これは、GPT-3.5が ToM の一部を自然に習得しており、他者の心の状態を理解・予測するスキルを備えている可能性を示唆しています。研究は、大規模な言語モデルが高度な認知スキルを獲得する可能性を示し、ToMのような心の理論がモデル内で自発的に形成される可能性があることを強調しています。
ToM
ここでは、GPT-3.5など10の大規模な言語モデルにより行われた2つの研究に基づき、心の理論（ToM）を理解する能力の進化が明らかにされています。前セクションでは、予期せぬ内容および転送タスクにおいて、モデルが他者の誤った信念を正確に予測・理解し、これを基に行動する能力がテストされました。結果として、GPT-4は最も高いパフォーマンスを達成し、GPT-3ファミリーの最新メンバーであるGPT-3.5も優れた結果を示しました。これらの結果は、言語モデルがToMタスクを解決する能力が進化しており、新しいモデルが古いモデルよりも優れていることを示唆しています。
上図は、20個の信念タスクのうち各言語モデルが正しく解決した割合を示しています。各モデルの名前、パラメータ数、および発行日が括弧内に表示されています。GPT-3のパラメータ数はGaoによって推定されました。さらに、同じ誤った信念の課題に対する子供たちの成績も参照されています（BLOOM）。この図は、各モデルがToMタスクをどれだけ成功裏にこなしたかを比較するための視覚的な情報を提供しています。
結論
この論文は、大規模な言語モデルにおいて心の理論（ToM）が自然発生的に現れる可能性を探るものであり、GPT-1およびGPT-2ではToMタスクの解決能力がほとんどないことを示しています。しかし、GPT-3の初期および後続バージョンでは、人間のToMをテストする誤った信念のタスクを解決する能力が向上しており、最新バージョンであるGPT-3.5は7歳児の水準に到達しています。更に、GPT-4はこれらのタスクのほぼすべてを解決し、モデルの性能は向上しています。
論文は、これらのモデルがToMタスクを解決する能力が言語モデルの発展とともに向上している可能性を指摘しており、ToMのような精神的な状態を他者に帰属させる能力が、AIが人間と対話・コミュニケーションする上で大きな進展をもたらす可能性があることを示唆しています。
また、興味深いのは、ToMに関与せずにToMタスクを解決できる未知の規則性が存在する可能性があり、これがAIが言語パターンを発見し活用する方法かもしれないという提案です。これが事実であれば、従来のToMタスクの妥当性や長年のToM研究結果の再評価が求められるでしょう。
AIが心の理論を自発的に獲得する可能性は革新的であり、AIの進化が人間の認知メカニズムに対する理解にも寄与できると考えられます。しかし、これはブラックボックスであるAIの複雑性が増すにつれ、その機能を理解する難しさに直面する現実を示唆しています。AIと心理学が連携し、相互に洞察を提供し合う未来が期待されます。
この記事に関するカテゴリー
