LLMは記憶より検索へ：インツール学習の理論的優位性と実証
3つの要点
✔️ モデル内部の記憶（インウェイト学習）はパラメータ数に制約され、知識保持に限界がある
✔️ 外部ツールを用いる学習（インツール学習）は無限に事実を参照でき、効率的かつスケーラブル
✔️ 実験でもインツール学習は性能劣化を防ぎ、未知データにも一般化できることが示された
Provable Benefits of In-Tool Learning for Large Language Models
written by Sam Houliston, Ambroise Odonnat, Charles Arnal, Vivien Cabannes
(Submitted on 28 Aug 2025)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Machine Learning (stat.ML)
概要
本論文は、LLMが外部ツールを利用する「インツール学習（in-tool learning）」の理論的優位性を明らかにした研究です。
従来のLLMは、学習時にパラメータへ知識を埋め込む「インウェイト学習（in-weight learning）」に依存してきました。
しかし、この方法には根本的な限界があります。
モデルが記憶できる事実量はパラメータ数に比例して増えるものの、無限に拡張できるわけではなく、忘却や干渉も発生するとのこと。
これに対し、外部のデータベースやAPIを活用するインツール学習では、モデルのパラメータ数に依存せず、原理的に無限の知識を参照可能であることが理論的に証明されました。
さらに、実験によってもインツール学習の有効性が裏付けられています。
著者らは、事実の記憶をモデル内部に強制的に蓄積するよりも、ツールを活用する規則や手続きを学習させるほうが、長期的に効率的かつスケーラブルであると主張。
本研究は、LLM設計において「巨大化による記憶」から「外部知識との協調」へと思想を転換すべきであることを示す重要な成果です。
提案手法
著者らは、事実検索タスクを題材にして「インウェイト学習」と「インツール学習」の違いを形式的に定義しました。
インウェイト学習では、モデルが入力文から直接回答を生成する一方、インツール学習では、モデルが外部データベースへの問い合わせを生成し、その返答を整形して回答します。
この枠組みのもとで、まず理論的下限を導出し、インウェイト学習はモデルのパラメータ数に比例してしか事実を保持できないことを証明しました。
続いて、インツール学習に関しては、限定的なパラメータ数であっても外部検索を通じて任意の数の事実を正確に呼び出せることを示しました。
さらに、著者らはTransformer構造がツール呼び出しを実装可能であることを理論的に構成し、必要パラメータ数が属性数の二乗に比例する程度に収まることを証明。
この理論枠組みにより、インツール学習が容量制約を超えて知識アクセスを可能にすることが厳密に位置づけられました。
実験
理論的結果を裏付けるため、著者らは二種類の実験を行いました。
第一に、小規模なTransformerを用いた制御実験では、合成された人物データ（名前、出生地、生年月日、職業など）を用いて比較を実施。
インウェイト学習ではデータ数の増加に応じて必要パラメータが線形に増大し、一定規模を超えると正確な記憶が困難となりました。
これに対し、インツール学習では1,000件程度を超えた段階で明確な転換点が現れ、モデルが事実を直接暗記するのではなく、問い合わせ規則を学習し、未知データにも一般化することが確認。
第二に、LlamaやSmolLMといった既存の事前学習モデルを対象に、事実追加のファインチューニングを実施。
その結果、インウェイト方式では言語能力の劣化や分布の変化が生じた一方、インツール方式では性能をほぼ維持しつつ拡張可能であることが示されました。
これらの結果は、ツール利用が実用上も効率的かつ持続的であることを強く示しています。
この記事に関するカテゴリー
