会話最適化トークナイザの可能性：LLM推論効率を10%改善する手法
3つの要点
✔️ 現在のトークナイザは会話形式のテキストに最適化されておらず効率低下
✔️ 会話データでトークナイザを再学習すると、トークン数を最大10%以上削減
✔️ 会話最適化により推論時の効率は向上しつつ、トレーニング性能への影響は最小限であった
Is There a Case for Conversation Optimized Tokenizers in Large Language Models?
written by Raquel Ferrando, Javier Conde, Gonzalo Martínez, Pedro Reviriego
(Submitted on 23 Jun 2025)
Comments: Published on arxiv.
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
概要
LLMの計算資源とエネルギー消費は、モデルのトークン数に比例して増大しています。トークン数を減らすためには、効率的なトークナイザの設計が重要。現在の多くのトークナイザは、書籍やWebテキストなど、静的で構造化されたコーパスに最適化されています。しかし、実際のLLMの主要な応用であるチャットボットでは、入力と出力の形式が異なる会話テキストが中心です。
このギャップに着目し、本研究では「会話に最適化されたトークナイザ（conversation-optimized tokenizers）」を再設計し、その効果を検証。具体的には、LMSYS Chat 1Mという実世界のチャットデータを用いて、複数のLLM向けのトークナイザを再学習させました。
その結果、最大で10%以上のトークン削減が確認され、エネルギー効率向上につながる可能性が示されました。一方、トレーニングコーパスへの影響は限定的で、モデル性能への悪影響は最小限に抑えられると考えられます。
提案手法
本研究では、既存のトークナイザを会話データに最適化することで、推論時のトークン数とエネルギーコストを削減できるかを検証。
手法の第一ステップとして、LMSYS Chat 1Mコーパスから80%を訓練用、20%を評価用に分割。次に、ユーザー入力のみ、モデル応答のみ、またはその両方を用いて再トークナイズする三種類のトークナイザを構築します。再学習には、各モデルの元のトークナイザと同一のアルゴリズムと設定を使用することで、公平な比較を実現。
評価には「fertility（1語あたりのトークン数）」と「トークン削減率」が用いられました。特にfertilityは、テキスト圧縮効率を示す指標として有用です。再トークナイズされたモデルは、元のトークナイザと比べて、全体のトークン数を一貫して減少させる傾向を示しました。特に応答側の最適化が効果的であることが判明し、チャット応答がテキストの大半を占めることとも整合しています。
これらの設計により、モデルの汎用性を損なうことなく、実用性の高いトークナイザの改良が可能であると結論づけられました。
実験
本研究では3つの実験を通じて、会話最適化トークナイザの有効性を検証。
最初の実験では、8種類のLLMモデル（GPT-4、GPT-4o、DeepSeek-R1、LLaMA-3.1、Gemma-2、Mistral-7B、BLOOM、Phi-4）における既存トークナイザの性能を評価。その結果、すべてのモデルにおいて、会話データではトークン効率（fertility）が悪化することが確認され、最適化の必要性が示唆されました。
次の実験では、再学習されたトークナイザが元のトークナイザと比べて5〜10%以上のトークン削減を実現できると確認されました。特にGemma-2、Mistral-7B、BLOOMでは10%以上の改善がみられ、言語別分析でも、英語やスペイン語などデータが豊富な言語では、削減効果が顕著に現れました。
最後の実験では、再学習されたトークナイザが従来のトレーニングデータ（C4コーパス）に与える影響を調査。ほとんどのモデルで1〜2%の増加にとどまり、いくつかのモデルでは逆にトークン数が減少する例も。これにより、会話最適化はモデル汎用性を大きく損なわずに導入可能であることが示唆されました。
この記事に関するカテゴリー
