Seed Diffusion Preview：高速推論と高性能を両立する次世代コード生成モデル

LLM-Paper 2025年08月13日

3つの要点
✔️ 離散状態拡散を用いた高速推論型コード生成モデル「Seed Diffusion Preview」を提案
✔️ 二段階学習や生成順序制約、ブロック並列生成で速度と品質を両立
✔️ H20 GPUで2,146トークン/秒を達成し、多様なコードベンチマークで高性能を示す

Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference
written by Yuxuan Song, Zheng Zhang, Cheng Luo, Pengyang Gao, Fan Xia, Hao Luo, Zheng Li, Yuehang Yang, Hongli Yu, Xingwei Qu, Yuwei Fu, Jing Su, Ge Zhang, Wenhao Huang, Mingxuan Wang, Lin Yan, Xiaoying Jia, Jingjing Liu, Wei-Ying Ma, Ya-Qin Zhang, Yonghui Wu, Hao Zhou
(Submitted on 4 Aug 2025)
Comments: Demo is available at this https URL Project page is this https URL
Subjects: Computation and Language (cs.CL); Machine Learning (cs.LG)

概要

本研究は、大規模言語モデルにおける新しいアプローチとして、離散状態拡散（discrete-state diffusion）に基づく高速推論モデル「Seed Diffusion Preview」を提案しています。

従来のオートレグレッシブ型（AR）モデルはトークンを逐次生成するため、高精度であっても推論速度に制約がありました。
一方、拡散モデルは並列生成が可能ですが、連続データ前提の設計や逐次的な復元手順が原因で、自然言語処理領域では速度や性能面で課題がありました。

本手法は、コード生成に特化した学習パイプラインと、二段階カリキュラム学習、生成順序の制約付き学習、オンポリシー学習、ブロック単位の並列推論といった複合的な改良を組み合わせています。
その結果、H20 GPU上で2,146トークン/秒という高速推論を実現しつつ、HumanEval、LiveCodeBench、MBXPなど複数のコード生成ベンチマークで高い性能を維持。
これにより、速度と品質のトレードオフを打破し、拡散型言語モデルの実用化可能性を示しました。

提案手法

Seed Diffusion Previewは、拡散モデルの強みを活かしながら自然言語処理特有の課題を克服するため、以下の要素を統合しています。

第一に「二段階カリキュラム学習（TSC）」を採用し、初期はマスクベースの破壊過程で堅牢な基礎を構築し、後期は編集ベースの破壊過程を追加して自己修正能力を向上させます。
第二に「生成順序制約学習」を行い、大量の候補生成順序からELBO最大化基準で高品質な軌跡を抽出し、順序のばらつきを抑制。
第三に「オンポリシー学習」により、推論時のステップ数を最適化しながら速度向上を実現。さらに、推論時には「ブロック単位の並列生成」を採用し、ブロック間に因果性を持たせつつ効率的にトークンを生成します。

これらの設計に加え、内部インフラ最適化やKVキャッシングを組み合わせることで、速度と品質の両立を図っています。

実験

本モデルは、コード生成分野の多様なベンチマークで評価されました。

HumanEvalやMBPPでの基本的なコーディング能力、BigCodeBenchやLiveCodeBenchでの実践的かつ時系列汚染のない競技プログラミング性能、MBXPでの多言語コード生成性能を測定。
また、NaturalCodeBenchを用いて、自然なユーザー問い合わせに基づく性能も検証しました。

さらに、AiderやCanItEditといったコード編集タスクにより、既存コードの修正能力も評価しています。
その結果、Seed Diffusion Previewは多くの指標で同規模の先行モデル（Mercury CoderやGemini Diffusionなど）と同等以上の性能を発揮しつつ、推論速度では2〜3倍以上の高速化を達成。
特に編集タスクでは顕著な性能向上を示し、拡散型アプローチがコード生成・編集の両面で有効であることが確認されました。