人間の記憶特性がLLMにも存在することが明らかに！
3つの要点
✔️ 人間の記憶特性とLLMとの類似性を調査するための様々な実験を実施
✔️ プライマシー効果やリーセンシー効果、反復による記憶の強化といった人間特有の現象がLLMにも現れることを確認
✔️ LLMが人間の生物学的な記憶のメカニズムを研究するために有用なツールであると証明
Aspect of human memory and Large Language Models
written by Romuald A .janik
(Submitted on 7 Nov 2023 (v1), last revised 8 Apr 2024 (this version, v3))
Comments: Published on arxiv.
Subjects: Computation and Language (cs.CL); Artificial Intelligence(cs.AI); Machine Learning(cs.LG); Neurons and Cognition(q-bio.NC)
code：
本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。
はじめに
ChatGPTに代表される大規模言語モデル(Large Language Models, LLM)は、言語をモデル化し、人間レベルのテキスト出力を生成する能力に飛躍的な進歩をもたらしました。
これらのモデルは膨大なテキスト・コーパスで学習することで、言語に関する非常に複雑で正確な確率モデルを効果的に構築していると言えます。
一方でこれらの言語の使用は、ホモサピエンスの最大の特徴とも言えるものであり、人間の認知能力とこれらの言語の特性との相互関係を理解することは、非常に重要な研究領域であると考えられてきました。
これに加えて、既存研究においてLLMが人間の特徴と類似した記憶特性を示している事実から、本論文の筆者は「LLMがこのような方向での調査において非常に有用なツールとして利用できる」と主張しました。
本稿ではこうした背景から、人間の記憶特性とLLMとの類似性を調査するための様々な実験を行い、プライマシー効果やリーセンシー効果、反復による記憶の強化といった人間特有の現象がLLMにも現れることを証明した論文について解説します。
概要
人間の記憶は単純であるように見えますが、実際には非常に特殊な性質を持っており、多くの認知心理学者によって1世紀以上にわたって研究が行われてきました。
その記憶特性の代表的なものでは、単語リストを記憶する際に、リストの先頭や末尾にある単語ほど想起しやすいという現象であるプライマシー効果(primacy effects)とリーセンシー効果(recency effects)が挙げられます。
その他にも、ある程度の間隔をおいた反復によって記憶が強化されるなど、これまでに様々な人間特有の記憶特性が確認されています。
本論文では、このような人間特有の記憶特性を研究する上で、LLMが非常に有用なツールになりうると主張した上で、実際にLLMを用いて様々な実験を行いました。
実験の設定
認知心理学における標準的な記憶力のテストの手法としては、参加者に単語のリストを順番に与え、リスト上の位置を覚えさせた上でその想起の正確さをテストするというものになります。
一方で、これらの手法をLLMに適応させることは困難であるため、本論文では代わりに特定の記憶特性を探るためのテキストを構成することを考案しています。
本実験にて行う手順を下の図に示します。(本論文では、全ての実験を通してオープンソースモデルのGPT-Jを使用しています)
本実験では、単語のリストを記憶する代わりに、GPT-Jにファーストネームで識別される任意の人物に関する事実のリストが提示されます。
その後、GPT-Jに対して次のようなクエリを追加します。
その後、GPT-JにXの代わりに全てのトークンの確率を出力させるという流れであり、最も出力確率の高い名詞が、事実のリストで特定の人物(ここではPaul)に与えられた名詞を一致する場合、答えは正しいと判断されます。
本論文では記憶すべき事実のリストの長さ・カテゴリー・間に挟むテキストを変更して様々な実験を行い、そこに現れる記憶特性を調査しています。
実験結果
プライマシー効果(Primacy effects)・リーセンシー効果(Recency effects)
前述したプライマシー効果とリーセンシー効果がLLMに出現するかを調べるため、事実のリストにおける与えられたXの位置を関数として想起の精度を計算しました。
20個の事実のリストを用いた人間とGPT-Jの記憶実験における想起精度を下図に示します。
本グラフに見られるU字型の曲線は、プライマシー効果とリーセンシー効果に特有の現象であり、本結果からLLMにおいても人間と同様にプライマシー効果とリーセンシー効果が出現していることが確認できます。
情報の追加
人間の記憶力のテストで見られるもう一つの特徴として、与えられた単語に関する追加情報を挿入することで、たとえクエリが追加された情報を含んでいなくても、その単語の想起の可能性が向上する点が挙げられます。
本論文では同様の現象がLLMにも現れるかをテストするために、リストの特定の位置(5・10・15番目)に以下のような追加情報を挿入しました。
ベースラインと追加情報を挿入した後のGPT-Jの想起精度の比較を下図に示します。
図より、追加情報の挿入によって想起精度が向上していることがはっきりと確認できました。
反復による記憶の強化
与えられた教材の記憶を繰り返すことで暗記力が高まることは明らかであり、この点ではLLMも同じような挙動を示すと考えられます。
人間の記憶の場合、心理学者のエビングハウスは「物事を記憶する際は、学習する教材の最初の暗記から一定の時間間隔をあけて行うのが最も効果的である(＝エビングハウスの忘却曲線)」と述べており、本論文ではこの性質がLLMにも出現するかを調べるための実験を行なっています。
具体的な手順としては、前述したGPT-Jに与える事実のリストの文章の前に、repetiton(＝暗記すべき事実のリスト)を挿入し、記憶したい情報が繰り返しテキストに出てくるようにしました。
通常のベースラインとの比較実験の結果は下図のようになりました。
図が示す通り、記憶したい情報が繰り返しテキストに出てくるように設定したLLM(＝repeated)は、ベースラインと比較して大幅に想起の精度が向上していることが確認できます。
加えて、情報を繰り返すテキストの位置が事実のリストの文章から離れている場合(=separated)により想起の精度が向上するという、人間の記憶特性と一致する傾向が確認されました。
まとめ
いかがだったでしょうか。今回は、人間の記憶特性とLLMとの類似性を調査するための様々な実験を行い、プライマシー効果やリーセンシー効果、反復による記憶の強化といった人間特有の現象がLLMにも現れることを証明した論文について解説しました。
本論文で行われた実験の結果、人間とLLMの記憶特性には数多くの類似点があることが確認され、これらの結果はLLMが人間の生物学的な記憶のメカニズムを研究するための非常に有用なツールであることを示唆していると言えます。
本実験の結果に関して筆者は、「LLMの人間のような記憶特性は、LLMアーキテクチャから自動的に導かれるのではなく、むしろ訓練テキストデータの統計から学習されるものであると主張する」と述べているため、今後本仮説を実証するための追加の研究が行われることが楽しみです。
今回紹介した実験結果の詳細は本論文に載っていますので、興味がある方は参照してみてください。
この記事に関するカテゴリー
