ProtoReasoning: 論理と計画で磨く汎用推論能力

その他 2025年06月30日

3つの要点
✔️ LLMが異なる問題領域での推論能力を効果的に学習できるように、プロトタイプを活用した「ProtoReasoning」フレームワークを提案
✔️ PrologとPDDLを用いた論理的推論と計画のプロトタイプ表現を開発し、これによってモデルが構造的に異なる問題に対しても強化された推論能力を発揮
✔️ 実験結果により、提案フレームワークが自然言語表現に比べてより優れた一般化能力を持ち、異なるタスクに対する性能向上を確認

ProtoReasoning: Prototypes as the Foundation for Generalizable Reasoning in LLMs
written by　Feng He, Zijun Chen, Xinnian Liang, Tingting Ma, Yunqi Qiu, Shuangzhi Wu, Junchi Yan
(Submitted on 18 Jun 2025)
Comments: Published on arxiv.
Subjects: Computation and Language (cs.CL)

code：

概要

この論文は、巨大な言語モデル（LLMs）が様々な問題を一般化して解決できる能力を持つための新しいフレームワーク「ProtoReasoning」を提案しています。ProtoReasoningは、プロトタイプ表現を活用して、人間の認識や問題解決能力を模倣する方法を目指しています。このフレームワークの中心は、PrologとPDDLといった形式言語を用いたプロトタイプの生成と検証システムです。

Prologは論理的推論に特化しており、問題を論理的な事実とルールに分解して解決します。一方、PDDLは計画のための表現を提供し、人間の計画思考に似たプロセスをモデル化します。これにより、異なる問題領域に対して柔軟な推論能力を持つモデルを訓練することが可能です。

実験結果では、このアプローチが従来の方法よりも高い性能を発揮し、論理推論能力と計画能力を効果的に改善できることが示されています。この研究は、LLMsの適応力を向上させるための新たな基盤を提供し、さらに広範な応用が期待されます。

提案手法

LLMsの能力を高めるために「ProtoReasoning」という新しいフレームワークを提案。このフレームワークは、プロトタイプ表現を用いて人間の問題解決能力を模倣することを目指しています。具体的には、PrologとPDDLという形式言語を活用して、プロトタイプを生成し、その正確性を検証するシステムを構築しています。

Prologは主に論理的推論に特化しており、問題を論理的な事実とルールに分解して解決する手法を持ちます。一方、PDDLは計画のための表現を提供し、人間が行うような計画立案をモデル化します。

この二つの言語を組み合わせることで、異なる問題領域に柔軟に対応できる推論能力をモデルに持たせることが可能となります。

実験

この研究の実験では、提案手法「ProtoReasoning」が推論能力を向上させる効果を検証。

まず、論理推論にはProlog、計画タスクにはPDDLという形式を用い、自然言語の問題を論理的なコードに変換しました。これにより、問題の構造を正確に把握し、自動的に正しい答えを生成できるデータセットを構築。最終的に、約4,200問のProlog問題と約2,400問のPDDL問題を準備し、モデルを三段階で学習させました。

学習後、論理推論や計画だけでなく、一般知識や数学のベンチマークでも性能を評価しました。その結果、論理推論では4.7%、計画タスクでは6.3%と大幅な性能向上が確認。また、アブレーション実験では、論理的な表現で学習すると、自然言語だけの学習と同等以上の効果が得られることも示されました。

この実験は、論理構造を学習することの有効性を強く裏付ける結果となりました。