Gemma 4 MTP drafter を今すぐ入れるべきか？ RTX 4070 Ti 12GB でつまずいた3つのポイントと結論

TL;DR: RTX 4070 Ti 12GB に Gemma 4 MTP drafter は乗る。ドラフターは 0.14GB と驚くほど軽い。ただし今日の最速は vLLM + E2B（drafter なし）≈ ~170 tok/s（decode）。MTP drafter 経由（transformers）は 11.5 tok/s（1.58x）。無条件推奨はまだ早い。

関連記事としては BlogGEMMA4-12B-CODERは何に使うべきか：コード55/60、総合B評価の実測結論GEMMA4-12B-CODERをRTX 4070 Ti 12GBで実測。54.6 tok/s、24問160/240、コード55/60。Gemma 4 12B/E2B/E4Bとの使い分けとMTP可否を整理します。→ もあわせて読むと、今回の論点とのつながりを把握しやすくなります。

検証環境: RTX 4070 Ti 12GB / vLLM 0.20.1 / transformers 5.8.0 / 確認日: 2026-05-07

• まず実測値だけ押さえる {#実測値}
  • VRAM 内訳
  • 速度比較（8 プロンプト × 150 トークン平均）
• Gemma 4 MTP multimodal の仕組み {#仕組み}
• 3つのつまずきで、机上の期待が現実に戻る {#つまずき}
  • 1. E4B は VRAM を先に食い切った
  • 2. vLLM は multimodal × MTP の組み合わせで未対応
  • 3. transformers のバージョン問題が地味に効いた
• Google の「3x」と、実測の「1.58x」がずれる理由 {#ズレ}
• 0.14GB という数字が意味すること {#vram}
• 今日の最速実用構成 {#最速}
• 無条件導入できない理由 {#結論}
• 注意点・制約
• FAQ {#faq}
  • 12GB VRAM があれば Gemma 4 E4B も MTP drafter と使えますか？
  • vLLM が対応したら何 tok/s になりますか？
  • Gemma 4 E2B と E4B、12GB ユーザーはどちらを選べばよいですか？
  • MTP drafter は品質を落としますか？
• 参考
• この記事を書いた人
• 関連記事
• 関連リンク

VRAM 内訳

速度比較（8 プロンプト × 150 トークン平均）

※ 計測条件の注意: vLLM の測定はチャットテンプレート未適用のため、8プロンプト中6本が1トークンで即終了（EOS）。全プロンプト込みの平均は 162.7 tok/s だが、これは条件不整合。150トークン応答のみで抽出した decode 速度は ~170 tok/s。transformers（全プロンプト150tok）との正しい比較は 170 vs 7.3 ≈ 23x 差。

この数字、最初に見た時は正直少し意外でした。**「ドラフターは軽いのに、速さは思ったほど伸びない」**からです。

MTP drafter は Speculative decoding（投機的デコーディング）の一種です。

小さく軽い「ドラフターモデル」が先に複数トークンを予測し、大きなメインモデルがそれを一気に検証する。正しければそのまま採用、外れたら修正する。この仕組みによって、メインモデルの 1 回の forward pass で複数トークンを確定でき、スループットが上がります。

Gemma 4 の MTP drafter が従来のスペキュラティブデコーディングと違うのは、ターゲットモデルの activations（活性化）を共有しながら、軽量な 4 層ドラフターが先読み候補を出す設計になっている点です。

ポイント: ドラフターは「4層 + 共有 activations」の設計のため VRAM がほぼ増えない。これが 0.14GB という実測値の理由です。

軽いからといって何でもかんでも 3 倍になるわけではない。実装系、バックエンド、対応範囲の影響をかなり受けます。

発売から 2 日後（2026-05-07）に試してみて、壁はきれいに 3 つ出ました。

1. E4B は VRAM を先に食い切った

最初に試したのは E4B 側でしたが、bfloat16 で 10.8GB を消費し OOM で落ちる。Gemma 4 は語彙数が約 26.2 万語と非常に多く、embedding テーブルだけで 2GB 超を消費します。さらに画像エンコーダも含むマルチモーダルアーキテクチャのため、実際のロード時はモデルサイズの見積もりより大きくなります。

E2B int8 量子化に切り替えて 7.34GB に収めました。詳しいサイズ比較は「BlogGemma 4 E2B vs E4B：24問実測で見えた速度5倍差の使い分け基準Gemma 4 E2B（2B）とE4B（4B）を24問実測比較。スコア差9%・速度差5倍の実態と、VRAM 4GBで動く省電力LLMとして選ぶべき条件を整理。→」も参照してください。

2. vLLM は multimodal × MTP の組み合わせで未対応

vLLM 0.20.1 を使って MTP drafter つきで起動しようとすると、こんなエラーが出ます。

NotImplementedError: Speculative Decoding with draft models
or parallel drafting does not support multimodal models yet

Gemma 4 のアーキテクチャは Gemma4ForConditionalGeneration（マルチモーダル）として認識されます。vLLM 0.20.1 ではこの組み合わせがまだ非対応（vLLM GitHub Issue 追跡中）。

3. transformers のバージョン問題が地味に効いた

transformers 4.x には Gemma4ForCausalLM が未収録です。5.8.0 へのアップグレードが必要でした。Gemma4AssistantForCausalLM（ドラフター）も同様です。

主張の前提と今回の実測条件が違うからです。

• int8 量子化でメインモデルが高速化されている → ドラフターの相対的な恩恵が薄くなる。bfloat16 の大きいモデル（31B など）ほど 3x に近づく
• transformers は paged attention・CUDA graph 最適化なし → vLLM の最適化エンジンでドラフターが動けば、絶対値・speedup 比ともに向上するはず

ポイント: 「MTP の仕組みが弱い」ではなく、「現時点の実装と条件が 3x を引き出し切れていない」と見るのが自然です。

私はこれを **「VRAM 二段コスト（重量モデル + ドラフター）の罠が存在しない」**状態と呼んでいます。

普通、スペキュラティブデコーディングで第 2 モデルを追加すると VRAM が単純に倍近くになります。しかし Gemma 4 の MTP drafter は 158MB のウェイトしか持たない MTP 専用 4 層構造のため、VRAM 追加分はほぼゼロ。これは、12GB 環境における導入の心理的ハードルをかなり下げる事実です。

ただし、ドラフターが軽いことと全体として最速になることは別問題です。

今日（2026-05-07 時点）の最速実用構成は vLLM + E2B（drafter なし）≈ 170 tok/s（decode）でした。

MTP drafter の面白さを認めたうえで、今この瞬間に速度だけを取りにいくなら drafter を足さない構成の方が速いです。

「今すぐ全員に入れるべき」ではありません。

でも、RTX 4070 Ti 12GB でローカルLLMを回していて、MTP drafter がどこまで使えるかを見たい人には、十分に検証価値がある。VRAM 0.14GB という軽さはかなり魅力です。

一方で、今日の目的が"とにかく速くすること"なら、MTP drafter はまだ第一選択ではありません。 vLLM の対応状況や、transformers 側の成熟を待った方が時間を失いにくいはずです。

チームへ共有するなら: ①ドラフターは軽い（0.14GB）② ただし今の最速は vLLM + E2B ≈ 170 tok/s（decode） ③ MTP の 3x は現時点では再現条件が限られる、の3点を分けて伝えると誤解が減ります。

なお、手元のGPUがどのくらいの負荷に耐えられるかをざっくり測りたいときは、ブラウザだけで動くGPU負荷テストも手軽です。ドライバ更新やオーバークロックの前後比較にも使えます。

そして「12GB だと E4B が bfloat16 で OOM」が分かったとき、わざわざ高VRAMカードを買い足す前に、クラウドで時間借りして挙動だけ確かめる手もあります。BlogRunPodでGPUを時給39円で借りて実測 — 安い16GBが7.5倍割高だった結論RunPodでgemma3:27bを16GBと24GBで実測。借りるのは簡単でも、安いGPUが得とは限らない理由を数字で整理します。→に、VRAM があふれた瞬間の速度の崖まで載せました。すぐ触るなら RunPod は時給39円〜から始められます。

📌 上の RunPod へのリンクは**紹介リンク（アフィリエイト）**です。経由して登録・入金すると双方に少額のクレジットが入ります。料金も中身も、自分で実際に借りて確かめたうえで書いています。

• E4B + MTP drafter の組み合わせは 12GB VRAM では bfloat16 では不可（int8 量子化で E4B 単体は 7.3GB で可）
• vLLM 0.20.1 は Gemma4 multimodal × MTP drafter 未対応。将来のバージョンで変わる可能性あり
• 本記事の速度測定条件: temperature=0（greedy）、max_new_tokens=150、8 プロンプト平均、batch_size=1
• ローカル環境・ドライバ・CUDA バージョンによって結果は変わります

12GB VRAM があれば Gemma 4 E4B も MTP drafter と使えますか？

E4B は bfloat16 で 10.8GB を消費するため、12GB では KV キャッシュ用の余裕がなく OOM になります。int8 量子化すれば E4B 単体（7.3GB）は動きますが、vLLM 0.20.1 では MTP drafter との組み合わせは未対応です。16GB VRAM があれば選択肢が広がります。

vLLM が対応したら何 tok/s になりますか？

今回の transformers 実測（7.3 → 11.5 tok/s、1.58x）の speedup 比を vLLM decode 速度（~170 tok/s）に外挿すると、250〜270 tok/s が期待値です（170 × 1.58 ≒ 269）。vLLM のエンジン最適化でさらに向上する可能性もあります。

Gemma 4 E2B と E4B、12GB ユーザーはどちらを選べばよいですか？

今日の最速構成（vLLM + drafter なし）では E2B ~170 tok/s（decode）vs E4B 比較未測定です。E4B は品質が高い代わりに速度が落ちます。速度重視なら E2B、品質重視で VRAM に余裕があるなら E4B int8。詳細は「BlogGemma 4 E2B vs E4B：24問実測で見えた速度5倍差の使い分け基準Gemma 4 E2B（2B）とE4B（4B）を24問実測比較。スコア差9%・速度差5倍の実態と、VRAM 4GBで動く省電力LLMとして選ぶべき条件を整理。→」を参照してください。

MTP drafter は品質を落としますか？

今回の実測では、greedy（temperature=0）での出力は BASE と MTP drafter でほぼ同一でした。理論上、greedy sampling ではスペキュラティブデコーディングは同一出力を保証します。

• Google: Accelerating Gemma 4 with MTP drafters
• google/gemma-4-E2B-it-assistant (HuggingFace)
• vLLM GitHub
• BlogGemma 4 E2B vs E4B：24問実測で見えた速度5倍差の使い分け基準Gemma 4 E2B（2B）とE4B（4B）を24問実測比較。スコア差9%・速度差5倍の実態と、VRAM 4GBで動く省電力LLMとして選ぶべき条件を整理。→
• Blogローカル最高80% vs クラウド93%——20点差が示す、規模の残酷な現実GPT-5.4 mini/nanoを同じ24問ベンチマークで測定。ローカル最高峰Qwen3.5:4bの80.8%に対し、miniは92.9%・nanoは79.2%。スコアの読み方と、正直な限界を書きます。→

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です。エンジニア専門結婚相談所も運営中で、ClaudeCodeで解決できない心の課題も解決いたします！

この記事は実運用環境（RTX 4070 Ti 12GB / aiserver）での検証内容をもとに執筆しています。

• BlogGEMMA4-12B-CODERは何に使うべきか：コード55/60、総合B評価の実測結論GEMMA4-12B-CODERをRTX 4070 Ti 12GBで実測。54.6 tok/s、24問160/240、コード55/60。Gemma 4 12B/E2B/E4Bとの使い分けとMTP可否を整理します。→
• Bloggemma4:12bがollamaで直った — 0.30.5で3層バグ全解消を実測確認【回避策は不要に】gemma4:12bのSIGFPE、macOS専用配布、日本語崩れを同一環境で実測。ollama 0.30.5で何が直り、何を捨ててよいかを整理します。→
• BlogGemma 4 E4B、ランクS確定——24問採点とOCR比較でわかった得意・苦手RTX 4070 TiとOllama v0.20.0でGemma 4 E4Bを実機検証。24問218点のS評価、論理・コード満点、OCRはQwen3-VL 8Bと比較して速度優位を確認。→

• 実際の構成を探すなら、GPU 比較ページやローカルLLM向け構成記事もあわせて見ると判断しやすいです。
• ハードウェア候補は用途別の AI 構成ガイドからたどると、単体製品より違和感なく検討できます。