AWORLD：分散型フレームワークによるエージェントAIの効率的学習基盤
3つの要点
✔️ AWORLDは分散環境での経験生成を14.6倍高速化し、学習効率を大幅に向上させる
✔️ Qwen3-32Bを基盤に強化学習を適用し、GAIAベンチマークでGPT-4oを超える精度を達成
✔️ オープンソース基盤として、エージェント構築から訓練まで「実践から学ぶ」AI開発を支援
AWorld: Orchestrating the Training Recipe for Agentic AI
written by Chengyue Yu, Siyuan Lu, Chenyi Zhuang, Dong Wang, Qintong Wu, Zongyue Li, Runsheng Gan, Chunfeng Wang, Siqi Hou, Gaochi Huang, Wenlong Yan, Lifeng Hong, Aohui Xue, Yanfeng Wang, Jinjie Gu, David Tsai, Tao Lin
(Submitted on 28 Aug 2025 (v1), last revised 1 Sep 2025 (this version, v2))
Comments: Published on arxiv.
Subjects: Artificial Intelligence (cs.AI)
概要
本研究では、エージェント型AI（Agentic AI）の発展に不可欠とされる「実践から学ぶ」学習パラダイムに焦点を当てています。
従来のLLMは多くの分野で高い性能を示してきましたが、複雑でマルチステップな実世界課題への適用には依然として大きな課題があるとのこと。
特に、GAIAベンチマークのような高度な課題では、モデルと環境との相互作用が非効率であり、経験データの生成がボトルネックとなっていました。
そこで著者らは、AWORLDというオープンソースのフレームワークを提案。
AWORLDは、分散環境を活用することでエージェントと環境の相互作用を大規模かつ効率的に実行し、経験生成を従来比14.6倍に高速化します。
この仕組みにより、強化学習を用いた大規模訓練が現実的となり、Qwen3-32Bを基盤としたエージェントがGAIAにおいてGPT-4oを上回る性能を示しました。
本研究は、効率的な経験生成と訓練レシピの最適化により、実践的かつ自己改善可能なエージェントAIの基盤を提供しています。
提案手法
提案されるAWORLDフレームワークは、エージェントAIの「実践から学ぶ」過程を包括的に支援する基盤です。
設計は大きく4つの要素から構成されます。
第一に、エージェント構築では、プロンプト設計やツール選択、エージェント同士の連携を可能にします。
第二に、通信プロトコルとして、ユーザーとエージェント、エージェントとツール、さらにはエージェント間での統一的なメッセージ伝達を保証し、堅牢な分散実行を実現。
第三に、ランタイム状態管理により、Kubernetesを用いた高並列実行と状態の一貫性保持を実現し、大規模かつ長期的なタスクを安定的に処理します。
最後に、訓練オーケストレーションでは、RLフレームワーク（例：SWIFTやOpenRLHF）と統合し、効率的にロールアウトデータを収集し、学習へと接続。
特に探索段階での効率性を大幅に改善し、従来困難だった大規模な強化学習を実用可能にした点が特徴です。
実験
著者らは、提案手法の有効性をGAIAベンチマークで検証しました。
まず、ロールアウト数の増加が性能向上に直結することを確認。
例えば、Claude-3.7-SonnetやGPT-4oでは、試行回数を増やすことで成功率が倍増し、経験生成の量と質が重要であることが示されました。
次に、AWORLDの分散環境と従来の単一ノード実行を比較した結果、ロールアウト時間を7695秒から525秒へ短縮し、14.6倍の高速化を達成。
さらに、Qwen3-32Bを基盤にAWORLDで訓練したエージェントは、GAIAテストセットでpass@1精度32.23%を記録し、GPT-4o（27.91%）を上回り、DeepSeek-V3と同等の性能を発揮しました。
特に難易度の高い問題群においては既存の商用モデルを超える結果を示し、AWORLDが複雑な推論タスクにおけるエージェントAIの実力を引き上げる有効な基盤であることが実証されたとのこと。
この記事に関するカテゴリー
