gemma4 12BはどのGPUで動く？実測3点＋主要18枚の速度早見表【VRAM 8GBは崖の縁】

こんにちは。蒸し暑さが少しずつ増してきたこの頃、手元の GPU で何がどこまで動くのか、確かめておくにはいい時期だと思います。

gemma4 12B を自分の PC で動かすなら、私の答えはこうです。12GB なら 52t/s 前後で快適、8GB は崖の縁、VRAM が足りないと1桁 t/s まで落ちます。 t/s は1秒あたりに文字（トークン）をいくつ出せるかの速さで、52t/s あればほとんど待たされません。判断のコツはひとつで、VRAMVRAMグラフィックボードに載っている、GPU 専用の高速なメモリ。詳しく →（GPU に載っている専用メモリ）は「動くか」を決め、帯域（そのメモリを読み書きする速さ）は「速いか」を決める、と分けて見ることです。

この記事では導入の手順ではなく、どの GPU ならどれくらい動くかを、実測3点と主要18枚の早見表で整理します。予測値と実測値は混ぜません。動かし方そのものは gemma4:12bはollamaで動かない — 12GB GPUでllama.cpp実測52t/sの最短ルート にまとめているので、あわせて読むとつながりが見えやすいはずです。

容量ごとの目安を先に並べておきます。

• 12GB: gemma4 12B の実用ラインです。実測では RTX 4070 Ti 12GB = 52.25t/s。体感はかなり素直で、待たされる感じは薄いです。
• 16GB: 余裕があります。実測では RTX A4000 16GB = 44.77t/s。容量は安心ですが、帯域次第で速度は伸び切りません。
• 24GB: かなり速いです。実測では RTX 3090 24GB = 75.44t/s。中古で狙う価値はあります。
• 8GB: ここははっきり言います。崖の縁です。 Q4_K_M でも容量は“ちょうど”で、コンテキストを削るか部分オフロード前提になります。あふれると一気に遅くなります。

数字はすべて gemma4 12B / Q4_K_M / 7.4GB が前提です（2026-06-05時点の実測・調査に基づきます）。量子化量子化（Quantization）AI モデルの数値を少ない桁数で表し直して、ファイルと必要なメモリを小さくする手法。詳しく →（モデルを軽く縮める方式）が Q5/Q8 などに変われば、必要な VRAM も速度も変わります。コンテキスト長コンテキスト長（Context Length）AI が1回のやりとりでまとめて扱える文章の長さの上限。トークン数で表す。詳しく →（一度に読ませる文章の長さ）が伸びれば VRAM 消費は増えますし、GPU の冷却・電力制限・ドライバ・実行エンジンでも上下します。なのでここに出てくる速度は「絶対値」ではなく、同じ条件で GPU を比べるための目安として使ってください。

話の順番はこうなっています。

• 実測アンカー3点
• 速度の見方は「VRAM」より「帯域」
• 主要18枚の速度早見表
• 8GBが崖の縁と言う理由
• 3090の予測が外れた話
• 買うならどのGPUか
• 再現するときの注意点
• 動作確認のしかた

まず、予測の土台になる実測を置きます。ここを飛ばすと、この先の表がただの“それっぽい数字”になってしまいます。

測った場所は、自宅の RTX 4070 Ti 12GB（ollama 0.30.4）、RunPod（時間単位で GPU を借りられるサービス）での RTX A4000 / RTX 3090（llama.cpp server-cuda）、のちに追加した Vast.ai での RTX 3060 / 4090 / 5090（ollama・ウォームアップ後）です。tokens/s はサーバーが報告する値（eval_count / eval_duration）で、ネットワークの遅れは含みません。VRAM 使用量と GPU/CPU への振り分けの比率も同時に記録し、結果は実測台帳（JSON）に残しています。RTX 3090 を RunPod で回した費用は $0.073 でした。

gemma4 12B の Q4_K_M は、必要 VRAM が 7.4GB です。だから「載るか」はまず VRAM で見ます。ただ、速さは帯域で決まる場面が多いんですよね。

ざっくりした予測式はこれです。

tokens/s ≈ メモリ帯域(GB/s) ÷ 7.4(GB) × 効率

実測から逆算した効率は、RTX A4000 が 0.74、RTX 4070 Ti が 0.77、RTX 3090 が 0.60 でした。つまり 〜700GB/s帯は効率0.75前後でかなり当たる一方、700GB/sを超えると効率が落ちる傾向が見えています。〜700GB/s 帯の当たり具合は、4070 の予測51に対して 4070 Ti の実測が 52.25 だったことからも分かります。

たとえば 4060 Ti 16GB は容量に余裕があっても、帯域が 288GB/s しかないため、予測速度はそこまで伸びません。逆に 3080 10GB は容量がタイトでも帯域が強く、速度はかなり出ます。

「容量が多いほうが速いはず」と考えたくなりますが、実機ではそう単純ではありません。最初に引っかかるのは、たぶんここです。

以下は、実測6点＋帯域ベース予測の早見表です。status列を必ず見てください。実測と予測を混ぜていません。

実測のうち RTX A4000 は llama.cpp、RTX 3090 は両ランタイム（llama.cpp 75.44 と ollama 63.16）、それ以外（3060・4070 Ti・4090・5090）は ollama で測っています。ランタイム（モデルを動かすソフト）が違うと同じ GPU でも十数%ずれるため（3090 の実測がその好例です）、実測同士の t/s を1対1で比べるときは計測条件もあわせて見てください。

※ 予測値は Q4_K_M / 7.4GB 前提です。別量子化では変わります。また「予測」の行は帯域から出した推定値なので、実機の冷却・電力制限・ドライバ・実行エンジンで上下します。

この記事でいちばん気になるのは、たぶんここだと思います。「8GBでもいけてしまうのでは？」と。

8GB の GPU は「全く無理」ではありません。そこがややこしいところです。gemma4 12B の Q4_K_M は本体だけで7.4GBあり、そこに実行時のバッファやコンテキストの分が乗って、実測では合計8.0GB（RTX 4070 Ti・デフォルトコンテキスト）に達しました。8GB カードにとっては文字どおり「容量ちょうど」です。

そのため、8GB 帯は次のどれかになりやすいです。

• コンテキストをかなり削る
• 一部をCPUへ逃がす
• 速度が大きく落ちる
• 途中でVRAM不足にぶつかる

VRAM があふれたときの落ち方は甘くありません。参考までに、RTX A4000 16GB に gemma3:27b(19.5GB) を載せたケースでは 5.43t/s まで落ちました。GPU 使用率は77%で、残りの23%は CPU に逃げています。“少し足りない”は“だいぶ遅い”になる、ということです。

gemma4 12B で言えば、8GB カードはこの崖の最前線にいます。買い足しの判断材料としては、正直おすすめしづらいです。

ここは隠さず書きます。RTX 3090 は事前予測で 94.9t/s と見ていましたが、実測は 75.44t/s でした。21%の下振れです。

事実と推測を分けておきます。実測75.44t/sは事実です。下振れの原因のほうは推測になりますが、高帯域側ではメモリ律速（メモリの速さだけで頭打ちになること）だけでは説明しきれないためと考えています。

この効率低下は世代差でも説明できません。同じAmpere世代の中でも、A4000（448GB/s）は効率0.74、3090（936GB/s）は0.60 と、帯域が上がるほど効率が落ちています。「高帯域カードを1枚しか測っていないから外れただけ」ではなく、帯域の中で一貫した傾向です。効いていそうなのは、演算側の律速、スケジューラの挙動、実装差、量子化やカーネルの最適化差といったあたりです。

なので、4090 / 5070 Ti / 5080 / 5090 のような高帯域帯は、単一の数字で断定しないでください。この記事では、あえて 幅 で出しています。700GB/s 超の予測は、幅の下限寄りで読むのが安全です。予測に気持ちよく乗りすぎると、あとで現物に裏切られます。実務では、そこが一番痛いです。

【追記 2026-06-07】4090・5090 を実測しました。 公開後、Vast.ai で RTX 4090 = 76.38 t/s / RTX 5090 = 94.18 t/s（いずれも ollama・ウォームアップ後）を実測しました。早見表の予測（4090=約82〜102、5090=約145〜182）に対し、特に 5090 は大きく下振れ。高帯域帯ほど効率が落ちる本記事の見立てを、実測がさらに裏付けた形です（5090 帯の実効率は約0.39まで低下）。なお 3090 は llama.cpp、4090・5090 は ollama での計測で、ランタイムが異なるため効率の数値同士は直接は比較できません（同じ条件なら llama.cpp の方が速く出ます）。

【追記 2026-06-08】3090 も ollama で測りました。 上の 75.44t/s は llama.cpp の値です。今回 Vast.ai で 同じ RTX 3090 を ollama で測ると 63.16t/s（ウォームアップ後）でした。同じGPU・同じモデルでも、ランタイムが違うだけで約16%差が出ます（llama.cpp の方が速い）。これは「ランタイムが異なると直接比較できない」と書いた点の、いちばん分かりやすい実測例です。なので 4090=76.38 や 5090=94.18（ともに ollama）と 3090 を並べるなら、3090 も ollama の 63.16 で揃えるのがフェアです（75.44 と混ぜない）。効率でいうと ollama の 3090 は約0.50で、ollama 同士で見ても高帯域ほど効率が下がる傾向は変わりませんでした。

迷うとしたら、たぶん「いまの GPU のまま使うか、買い足すか」だと思います。手持ちの容量ごとに、率直に書きます。

12GB 帯をすでに持っているなら、買い足しは急がなくてよいです。RTX 4070 Ti の実測が 52.25t/s で、RTX 4070 の近くも実用圏に入ります。このあたりなら gemma4 12B は十分“触れる”速度で、待ち時間が短く、ローカルで使う満足度も高いです。コスパの分水嶺は、この 12GB・4070 / 4070 Ti 級の 52t/s前後 だと見ています。

8GB しかないなら、買い足しの根拠にはしにくいです。 動く可能性はありますが崖の縁で、コンテキストを詰めると使い勝手が落ちます。「とりあえず試したい」には向いても、「日常的に使う」には弱いです。

16GB を狙うなら、容量の安心感はあります。 ただ速度は GPU 次第です。A4000 の実測 44.77t/s は安定していますが、3090 のような帯域の強いカードには届きませんし、4060 Ti 16GB のように容量があっても遅い例もあります。

速度最優先なら、中古の 3090 はかなり強い選択肢です。24GB で余裕があり、実測は 75.44t/s。RunPod 実走の費用は $0.073 でした。再現性を自分で確かめたい人には、こうしたレンタルでの実験も相性がいいです。

なお、公開時点で残っていた ollama 上流バグ（mmproj 強制ロード）と GGUFGGUF（ggml Unified Format）llama.cpp 系のソフトでローカル LLM を動かす時に使う、モデルの保存形式。詳しく → 日本語崩れは、本記事公開当日の ollama 0.30.5 ＋ GGUF 再変換で解消されました（公式タグ gemma4:12b を 4070Ti で動作確認済み・52t/s で本記事の実測値どおり。思考モデルのため think:false の指定だけ必要です）。ollama の対応状況や日本語出力の品質は 2026-06-05 時点のもので、上流の更新で変わります。修正までの経緯と動かし方の詳細は gemma4:12bはollamaで動かない — 12GB GPUで実測52t/sを出す最短ルート にまとめているので、本記事では GPU 選びに集中します。

4070Ti 12GB での実機運用の様子は gemma4 MTP drafterをRTX 4070 Ti 12GBで動かした記録 も参考になります。GPU 別の対応状況は gemma 4 のAIワークロードページ にも整理しています。

この記事の数字をそのまま当てはめると、たぶん少しずれます。理由は単純で、実機の条件が効くからです。確かめてほしいのは次のあたりです。

1. 量子化: Q4_K_M かどうか
2. コンテキスト長: デフォルトか、増やしていないか
3. 実行エンジン: ollama か llama.cpp か
4. GPU使用率: 100%GPU か、一部CPUに逃げていないか
5. VRAM使用量: 7.4GBを超えていないか

特に大事なのは、“VRAMに収まる”と“速い”は別という点です。量子化を変えた場合は、上の予測式（帯域 ÷ モデルサイズ × 効率）のモデルサイズを差し替えれば、自分でおおよその見当をつけられます。

自分の GPU で確かめるなら、次の順で見れば十分です。

1. VRAMが足りるか確認する

   • gemma4 12B / Q4_K_M / 7.4GB を前提にする
   • 8GB GPUなら、まず崖の縁だと考える

2. 1回だけ生成して速度を見る

   • 体感が遅いなら、たいていVRAM不足か帯域不足です
   • 数字だけでなく、レスポンスの“間”を見ます

3. コンテキストを少し変えて再確認する

   • ここで急に遅くなるなら、余裕がありません

4. VRAMあふれ時の挙動を見る

   • 1桁t/sまで落ちるなら、運用ラインとしては厳しいです

5. 必要なら導入ガイドへ進む

   • gemma4:12b導入ガイド（ollama上流バグの回避策）
   • ここではGPU選定に集中し、セットアップの罠は別記事に分けています

gemma4 12B は、見た目よりも「GPU の選び方」で満足度が変わります。VRAM だけで安心せず、帯域と実測を一緒に見る。これが、いちばん外しにくい判断です。

• NVIDIA GeForce RTX 50シリーズ公式
• ggml-org/gemma-4-12B-it-GGUF（Hugging Face）
• gemma 4 のAIワークロードページ（META-MARK）

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！