Ollama実測：RTX 3060 31.84、RTX 5090 94.18t/s

こんにちは。真夏はGPUの排熱がそのまま部屋の温度に乗ってくるので、どのカードを選ぶかが余計に気になる時期ですね。

OllamaOllama（ローカルLLMランタイム）手元の PC でオープンウェイトの LLM を手軽に動かすための、無料のソフト。詳しく →（自分のPCでAIのチャットを動かすソフト）用のGPU選びについて、先に私の答えを書きます。12Bクラスのモデルを使うならRTX 3060の12GBで十分、27Bクラスを動かしたいなら24GBのRTX 3090以降です。同じ12Bモデルを動かした実測では、RTX 3060が31.84 tokens/s、RTX 3090が63.16 tokens/s、RTX 5090が94.18 tokens/sでした。速さには明確な差がありますが、同じモデルを載せている限り、高いGPUにしても回答が賢くなるわけではありません。変わるのは、返事を待つ時間です。

話が変わるのは、VRAMVRAMグラフィックボードに載っている、GPU 専用の高速なメモリ。詳しく →（GPUに積まれた専用メモリ）に収まらないモデルを無理に動かしたときです。RTX A4000 16GBでは、12Bモデルが38.63 tokens/sだったのに対し、27BモデルはCPUオフロード（入りきらない分をCPU側で処理すること）によって5.43 tokens/sまで落ちました。容量不足は「少し遅くなる」程度の話ではありません。だからこの記事の結論は、速度より先にVRAMを見る、です。

比較には、RunPodとVast.aiで借りた5種類のGPUと、自宅ワークステーションのRTX 4070 Tiを使いました。ランタイム（モデルを動かすソフト）はOllamaに統一し、モデルはgemma4:12bのQ4_K_M、サイズは7.4GBです。数値はモデルを読み込んだ後のwarm状態（一度動かして温まった状態）で、生成速度を測ったものです。後から再現しやすいよう、前提を並べておきます。

• 対象モデル：gemma4:12b Q4_K_M、7.4GB
• 計測方法：Ollamaでモデル読み込み後にwarm計測
• 実行環境：RunPod / Vast.aiの実GPU（RTX 4070 Tiのみ自宅実機）、2026年6月記録
• 指標：生成時のtokens/s（1秒あたりに出てくる文字の塊の数）。初回ロード時間やプロンプト処理速度は含めない

つまりこれは、チャットで返事を書いている最中の速さの比較です。長いコードや大量の文書を最初に読み込ませる使い方では、プロンプト処理の速度やコンテキスト長コンテキスト長（Context Length）AI が1回のやりとりでまとめて扱える文章の長さの上限。トークン数で表す。詳しく →（一度に扱える文章の長さ）も効いてきます。今回の数値だけで、その用途まで一律には判断できません。ローカルLLMLLM（大規模言語モデル）大量の文章で学習し、人のように文章を読み書きできる大きな AI のモデル。詳しく →の体感速度は、GPU、量子化、コンテキスト長、同時実行数などで大きく動きます。ここでの数値は、このモデル、このランタイム、warm状態という条件込みで読んでください。

実測値は次の通りでした。

RTX 3060とRTX A4000は、VRAM容量も世代も違うのに、同じ12Bモデルでは31.84と33.42 tokens/sで近い結果になりました。A4000はワークステーション向けで、静音性や筐体への収まりやすさを重視する場面があります。ただ、Ollamaの生成速度だけが目的なら、価格差をそのまま速度で回収できるとは限りません。

RTX 4070 Tiは52.25 tokens/sで、3060より約64％速い結果です。容量は3060と同じ12GBなので、扱えるモデルの上限は基本的に変わりません。それでも帯域や世代の違いで、同じモデルの待ち時間は短くなります。

24GB帯では、RTX 3090が63.16、RTX 4090が76.38 tokens/sでした。どちらも27Bクラスを検討できる容量ですが、速度には差があります。ここで押さえておきたいのは、4090に買い替えても24GBという枠は増えないことです。27Bより大きいモデルを載せる余裕が欲しいなら、優先すべきは速度ではなくVRAM容量です。

RTX 5090は94.18 tokens/sでした。12Bモデルの応答はかなり短くなりますが、同じモデルを使う限り、RTX 3060より回答の中身が賢くなるわけではありません。高価なGPUを選ぶ意味は、主に待ち時間の短縮と、より大きなモデルを載せる余力にあります。

Ollamaで量子化量子化（Quantization）AI モデルの数値を少ない桁数で表し直して、ファイルと必要なメモリを小さくする手法。詳しく →（モデルを軽く圧縮すること）されたモデルを動かすとき、GPUの演算性能だけを見ても速度は読みにくいです。1トークン（文字の塊）を作るたびにモデルの重みをメモリから読み出す処理が中心になるので、実用上はメモリ帯域（メモリから読み出せる速さ）とモデルサイズの影響が大きくなります。

概算には、次の式が使えます。

tokens/s ≒ メモリ帯域(GB/s) ÷ モデルサイズ(GB) × 効率

効率はGPUやモデル、ランタイムによって変わります。今回の実測では、700GB/s以下の帯域で0.55〜0.78、700〜1500GB/sで0.48〜0.60、1500GB/s超で0.35〜0.45の範囲に収まり、6点すべてがこの帯域別の範囲内でした。

この式はベンチマークの代わりにはなりません。冷却状態、CPUオフロード、PCIe構成、量子化形式、コンテキスト長などを完全には表せないからです。それでも、表にないGPUを検討するときに、スペック表のTFLOPSスループット / TFLOPS決まった時間にこなせる処理の量と、その計算力を表す単位 TFLOPS のこと。詳しく →（演算性能の数字）だけで判断しないための物差しにはなります。

同じ7.4GBの12Bモデルなら、帯域が大きいGPUほど速度を伸ばしやすい。ただし、モデルがVRAMに入りきらなくなった瞬間、この見積もりは崩れます。帯域の差を考える前に、モデル全体をGPUに載せられるかを確かめる必要があります。

RTX A4000 16GBで行った別の計測では、gemma3:12bの8.0GBモデルを100％GPUに載せた場合、38.63 tokens/sでした。同じGPUでgemma3:27bの19.5GBモデルを動かすと、VRAMに収まらず23％がCPUオフロードになり、速度は5.43 tokens/sに落ちています。

38.63から5.43 tokens/sなので、約7分の1です。数行の返事なら待てる場面もありますが、コード修正や長文のやり取りでは、GPUを使っている感覚がかなり薄れます。CPUオフロードは「動く」という意味では便利ですが、「実用的な速度で動く」とは分けて考えるべきです。

ここから、27Bクラスを試したいなら24GBがひとつの基準になります。とはいえ、量子化形式や実装で必要な容量は変わるので、「19.5GBのモデルなら24GBで余裕」という単純な話でもありません。KVキャッシュ（会話の途中経過を覚えておくためのメモリ）やコンテキスト長の分も残しておく必要があります。

迷いどころは、たぶん「安い16GBで27Bも試せるか、最初から24GBにするか」の一点です。27Bが主な目的なら、16GBを買ってCPUオフロードで我慢するより、24GB以上を選んだほうが運用は読みやすいです。12Bまでなら、16GBは容量面で無理がありません。

12GBは12Bクラスを安く始める容量

RTX 3060の12GBは、今回の7.4GBの12Bモデルで31.84 tokens/sを記録しました。Ollamaを試す入口としては十分に実用的です。高価なGPUより待つ時間は長くなりますが、短い質問への応答やコードのたたき台づくりなら、普段使いできない速さではありません。インストールからモデル選びまでの流れは、Ollamaでローカルにチャットを住まわせた記録 — インストールからモデル選びまで にまとめています。

RTX 4070 Tiも12GBですが、同じ12Bクラスで52.25 tokens/sでした。速さを優先するなら3060より明確に快適です。ただしVRAMは増えていないので、12Bから27Bへ移るためのGPUではありません。3060から買い替える場合も、「大きなモデルが動くようになる」というより「同じサイズのモデルが早く返ってくる」ための投資です。

中古価格を含めて3万円前後で始めたいなら、RTX 3060 12GBはまだ判断しやすい選択肢です。電源、冷却、カードの状態を確認できる中古品に限りますが、12Bクラスを試す目的なら、いきなり24GBまで予算を広げる必要はありません。

16GBは12Bの余裕に使う容量で、27Bの入口ではない

RTX A4000の16GBは、12Bモデルにコンテキストの余裕を足して考えるには扱いやすい容量です。実測は33.42 tokens/sでしたが、同じGPUでも別のPod（借りた実行環境）では37.39 tokens/sを記録しており、個体差やホスト差だけで約10％変わっています。

16GBを「24GBに近い容量」と考えるのは危険です。19.5GBの27Bモデルは収まらず、CPUオフロードで5.43 tokens/sまで落ちました。VRAMの数GBの差が、選べるモデルだけでなく速度を保てるかどうかまで分けます。

24GBは27Bクラスを狙う人の基準になる

RTX 3090とRTX 4090は、どちらも24GBで27Bクラスを検討できる容量です。今回の12Bモデルでは、3090が63.16、4090が76.38 tokens/sでした。4090は生成を速くできますが、VRAMが増えるわけではないので、モデルの大きさを一段上げる目的では3090と同じ制約を受けます。

中古のRTX 3090は、消費電力やカードの状態を確認できるなら、24GBを比較的低い予算で確保する手段になります。長時間の生成では発熱と電源容量がボトルネックになりやすく、安く買えた後に冷却や電源で追加の出費が出ることもあります。価格だけで4090との差を判断しないほうが安全です。

32GBは大きめのモデルと余裕を同時に取りたい容量

RTX 5090は32GBで、12Bモデルの実測は94.18 tokens/sでした。24GBではモデル本体やKVキャッシュの余裕が足りない場面でも、32GBなら選択肢を残しやすくなります。ただし、32GBだからといって27Bを超えるモデルがすべて快適になるわけではありません。量子化サイズ、コンテキスト長、ランタイムのメモリ使用量を個別に確かめる必要があります。

12Bだけを使うなら、5090の速さは便利でも、費用対効果は用途次第です。複数人で同時に生成する、長いコンテキストを常用する、27B以上のモデルを頻繁に試す、といった負荷がないなら、VRAMと帯域に払ったお金が余りやすいでしょう。

同じGPUと同じモデルでも、ランタイムが違えば速度は一致しません。RTX 3090では、llama.cppが75.44 tokens/s、Ollamaが63.16 tokens/sで、約19％の差がありました。別の条件ではランタイム差が約34％に達することもあるので、Ollama用のGPUを選ぶなら、Ollamaで測った数値どうしで比べるべきです。

起動した直後のコールド状態も、そのままでは比較に使えません。RTX 5090では23.59 tokens/sから、warm状態の94.18 tokens/sまで変わりました。モデルのロードやキャッシュ、実行環境の初期化が残っている状態では、GPUの性能ではなく起動直後の待ち時間を測ってしまいます。

購入前の比較や自分のPCで測るときは、次の条件を揃えてください。

• Ollamaのバージョン、モデル名、量子化形式を固定する
• モデルを一度読み込んだ後、warm状態で複数回測る
• GPU使用率、VRAM使用量、CPUオフロードの有無を確認する
• 生成速度と、初回ロード時間・プロンプト処理速度を分けて記録する

同じGPU名だから同じ数字が出る、と考えると外れます。A4000で37.39と33.42 tokens/sが別のPodで出たように、ホストのCPU、PCIe、電力制限、ドライバー、冷却状態でも差が出ます。買う前の比較では、数字を一点ではなく幅で見るのが現実的です。

GPUを買い替える代わりに、4Bや7Bの小型モデルへ移る方法もあります。小型モデルはVRAMに収まりやすく、生成も速くなります。ただ、モデルが小さくなれば回答の質が同じまま、というわけにはいきません。

実際にgemma3:4bが「日本の第二の首都」を福岡と誤答する例がありました。これはGPUの速さの問題ではなく、モデルそのものの知識や推論の力の問題です。12Bモデルを3060で動かすのと、4Bモデルを5090で動かすのとでは、後者のほうが速くても回答の質まで上回るとは限りません。

「賢さは同じで、待たされ方が違う」という整理が成り立つのは、同じモデルをGPUだけ替えて動かした場合です。モデルを小さくすれば、速さだけでなく、誤答の傾向やコード生成の安定性も変わります。

私の判断ははっきりしています。Ollamaを始めて12Bクラスを使うなら、RTX 3060 12GBで十分です。31.84 tokens/sは、短い質問やコード補助をローカルで試す用途なら、買う理由がなくなるほど遅くはありません。浮いた予算をメモリ、SSD、電源、冷却へ回したほうが、PC全体の使い勝手は安定します。

12Bを速く返したいならRTX 4070 Ti、27Bクラスを動かしたいなら24GBのRTX 3090かRTX 4090が候補です。3090は速度と消費電力の妥協、4090は速度と価格の妥協になります。32GBが必要なモデルや長いコンテキストを見込むなら、RTX 5090を検討する意味が出てきます。

ただし、この「おすすめ」は2026年6月に記録した実測と容量の条件からの判断です。今後のOllama、ドライバー、モデルの実装で数値が変わる可能性はあります。買う前には、使いたいモデルの量子化サイズがVRAMに収まり、KVキャッシュの分の余裕が残るかを確かめてください。

12Bクラスなら、12GBのRTX 3060でもOllamaは実用になります。もっと速くしたいなら帯域の大きいGPUを選べばいいのですが、容量は12GBのままです。27Bクラスを狙う段階では、16GBだとCPUオフロードで約7倍の速度低下が起きたので、24GB以上を選ぶほうが失敗しにくいです。

今回の6GPUの差は、31.84から94.18 tokens/sでした。数字だけ見れば5090が最速ですが、全員が5090を買うべきという話ではありません。まずモデルがVRAMに収まるかを確かめ、そのうえでどれだけ待ち時間を減らしたいかを決める。OllamaのGPU選びは、この順番で考えると迷いがかなり減ります。

ローカルとクラウドのどちらでAIを動かすかで迷っているなら、META-MARK: ローカル vs クラウド LLM 比較記事 もあわせてどうぞ。

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！