Forget-Me-Not: 長文プロンプト内の情報忘却を防ぐ簡易プロンプト技術の提案
3つの要点
✔️ LLMの長い文脈中で重要情報を忘れる「文脈内忘却」の課題に着目
✔️ 「Forget-Me-Not（FMN）」は重要情報を強調する一文を追加し、記憶性能を改善
✔️ GPT-4など複数のモデルでFMNにより最大+43ポイントの精度向上
When Life Gives You Samples: The Benefits of Scaling up Inference Compute for Multilingual LLMs
written by Ammar Khairi, Daniel D'souza, Ye Shen, Julia Kreutzer, Sara Hooker
(Submitted on 25 Jun 2025)
Comments: Published on arxiv.
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
概要
LLMは複雑な推論や質問応答において驚異的な性能を示している一方、「文脈内忘却」と呼ばれる現象が課題となっています。これは、モデルがプロンプト内で与えられた情報を長い文脈の中で徐々に忘れてしまうというもので、正確な応答生成に悪影響を与える可能性があります。本研究では、この文脈内忘却に焦点を当て、現行のLLMがどのような条件で情報を「忘れる」のかを詳細に検証。
さらに著者らは、「Forget-Me-Not（FMN）」と呼ばれるシンプルなプロンプト設計ツールを提案しました。このツールは、文脈中に挿入された一文の指示によって、モデルに重要情報を再認識させる仕組みです。特筆すべきは、LLMの構造を変えず、訓練も行わないにもかかわらず、モデルの文脈記憶能力を大幅に向上させる点。実験では、GPT-4などの最先端モデルでも、FMNの挿入によって最大で40ポイント以上精度が向上するケースが報告されました。
提案手法
本研究の中心的提案は、「Forget-Me-Not（FMN）」と呼ばれるプロンプトベースの補助文挿入手法。
FMNは、長い文脈の中で埋もれてしまいがちな重要情報を、モデルにもう一度「思い出させる」ための簡潔な自然言語文です。例えば、「この指示は非常に重要です：質問に対する回答はこの文のみに基づいてください」といった一文を、元の指示の直後に追加するだけで効果を発揮。
FMNは、トークン数の増加を最小限に抑えながら、モデルに特定情報を強調させる設計となっています。特徴的なのは、モデルの内部構造やパラメータには一切変更を加えず、あくまでプロンプト内の文言調整のみで性能向上を実現する点。また、FMNは明示的に「どの情報が重要か」を自然言語で指示するため、モデル側の文脈理解の曖昧さを補う役割も果たします。
さらに、FMNは少数ショット学習（few-shot learning）など他の文脈記憶支援手法と併用可能であり、汎用性の高いアプローチとして設計されています。結果として、従来の方法よりもシンプルかつ効果的に、文脈忘却の緩和が可能に。
実験
著者らは、文脈内忘却の評価とFMNの有効性を検証するために、複数のLLM（GPT-3.5、GPT-4、Claude 2、Gemini Proなど）に対して、合計10の文脈忘却タスクを設計・実行しました。各タスクでは、モデルが文脈中の特定情報を保持できるかどうか、またFMNの挿入によって精度がどれほど改善するかを詳細に測定しています。
実験の結果、GPT-4では最大で+43ポイント、Claude 2でも+37ポイントという大幅な性能向上が見られました。また、FMNの効果は「情報の位置が後方になるほど効果が大きい」「質問との距離が離れるほど効果的である」など、モデルの記憶の特性と一致した傾向が確認。
さらに、FMNがプロンプト全体に与える影響を評価するため、プロンプト内の他の情報への干渉や誤誘導リスクも検証されましたが、大部分のケースにおいて悪影響は見られず、むしろ安定した性能向上が報告されました。特にGPT-4においては、FMNがほぼ常に正の効果をもたらしたことが明記されています。
これらの結果から、FMNは手軽かつ効果的に文脈内忘却を緩和できる実用的手法であると結論づけられました。
この記事に関するカテゴリー
