Ollama実測：RTX 3060 31.84、RTX 5090 94.18t/s

関連記事としては BlogOllamaでローカルにチャットを住まわせた記録 — インストールからモデル選びまでOllamaを使ってローカルLLMを動かした実録。インストール手順・VRAM別モデル選び・実際に使って感じた正直な評価まで。RTX 4070 Ti（12GB）環境での体験ベース。→ もあわせて読むと、今回の論点とのつながりを把握しやすくなります。

Ollama用のGPUを選ぶとき、「RTX 3060の12GBで足りるのか」「24GBのRTX 3090まで必要なのか」「高価なRTX 4090や5090なら、モデルの賢さも上がるのか」で迷うことがあります。

今回の実測では、同じ12Bモデルを動かした場合、RTX 3060は31.84 tokens/s、RTX 3090は63.16 tokens/s、RTX 5090は94.18 tokens/sでした。速度には明確な差がありますが、同じモデルを載せている限り、GPUによって回答品質そのものが高くなるわけではありません。変わるのは、生成を待つ時間です。

一方で、VRAMに収まらないモデルを無理に動かすと話が変わります。RTX A4000 16GBでは、12Bモデルが38.63 tokens/sだったのに対し、27BモデルはCPUオフロードによって5.43 tokens/sまで落ちました。容量不足は、少し遅くなる程度の話ではありません。

比較には、RunPodとVast.aiで借りた5種類のGPUと、自宅ワークステーションのRTX 4070 Tiを使いました。Ollamaにランタイムを統一し、gemma4:12bのQ4_K_M、モデルサイズ7.4GBを使用しています。数値はモデルを読み込んだ後のwarm状態で、生成速度を測ったものです。

計測条件を後から再現しやすいよう、比較の前提をまとめます。

• 対象モデル：gemma4:12b Q4_K_M、7.4GB
• 計測方法：Ollamaでモデル読み込み後にwarm計測
• 実行環境：RunPod / Vast.aiの実GPU（RTX 4070 Tiのみ自宅実機）、2026年6月記録
• 指標：生成時のtokens/s。初回ロード時間やプロンプト処理速度は含めない

この条件は、チャットで返答を生成している最中の速度を比較するものです。長いコードや大量の文書を最初に読み込ませる場合は、プロンプト処理の速度やコンテキスト長も効いてきます。今回の数値だけで、その用途まで一律に判断はできません。

実測値は次の通りでした。

RTX 3060とRTX A4000は、VRAM容量も世代も違いますが、同じ12Bモデルでは31.84と33.42 tokens/sで近い結果になりました。A4000はワークステーション向けで、静音性や筐体への収まりやすさを重視する場面があります。ただし、Ollamaの生成速度だけを目的にすると、価格差をそのまま速度で回収できるとは限りません。

RTX 4070 Tiは52.25 tokens/sで、3060より約64％速い結果です。12GBという容量は3060と同じなので、扱えるモデルの上限は基本的に大きく変わりません。それでも帯域や世代の違いによって、同じモデルの生成待ちは短くなります。

24GB帯では、RTX 3090が63.16、RTX 4090が76.38 tokens/sでした。どちらも27Bクラスを検討できる容量ですが、生成速度には差があります。ここで重要なのは、4090に買い替えても24GBという枠自体は増えないことです。27Bより大きいモデルを載せる余裕を求めるなら、速度ではなくVRAM容量を優先する必要があります。

RTX 5090は94.18 tokens/sでした。12Bモデルの応答をかなり短くできますが、同じモデルを使う限り、RTX 3060より回答の内容が賢くなるわけではありません。高価なGPUを選ぶ意味は、主に生成待ちの短縮と、より大きなモデルを載せる余力にあります。

Ollamaで量子化モデルを生成するとき、GPUの演算性能だけを見ても速度は読みにくいです。モデルの重みを毎トークン読み出す処理が中心になるため、実用上はメモリ帯域とモデルサイズの影響が大きくなります。

概算には、次の式を使えます。

tokens/s ≒ メモリ帯域(GB/s) ÷ モデルサイズ(GB) × 効率

効率はGPUやモデル、ランタイムによって変わります。今回の実測では、700GB/s以下の帯域で0.55〜0.78、700〜1500GB/sで0.48〜0.60、1500GB/s超で0.35〜0.45の範囲に収まり、6点すべてがこの帯域別の範囲内でした。

この式はベンチマークの代わりではありません。冷却状態、CPUオフロード、PCIe構成、量子化形式、コンテキスト長などを完全には表せないからです。ただ、表にないGPUを検討するときに、スペック表のTFLOPSだけで判断しないための物差しにはなります。

たとえば、同じ7.4GBの12Bモデルを使うなら、帯域が大きいGPUほど生成速度を伸ばしやすい。ただし、モデルサイズがVRAM容量を超えた瞬間、この見積もりは崩れます。帯域の差を考える前に、GPUへモデル全体を載せられるかを確認する必要があります。

RTX A4000 16GBで行った別の計測では、gemma3:12bの8.0GBモデルを100％GPUに載せた場合、38.63 tokens/sでした。同じGPUでgemma3:27bの19.5GBモデルを動かすと、VRAMに収まらず23％がCPUオフロードとなり、速度は5.43 tokens/sに落ちています。

38.63から5.43 tokens/sなので、速度は約7分の1です。返答を数行作るだけなら待てる場面もありますが、コード修正や長文のやり取りでは、GPUを使っている感覚がかなり薄くなります。CPUオフロードは「動く」という意味では便利ですが、「実用的な速度で動く」とは分けて考えるべきです。

この結果から、27Bクラスを試したい場合は24GBがひとつの基準になります。量子化形式や実装によって必要容量は変わるため、19.5GBのモデルなら24GBで余裕がある、という単純な話でもありません。KVキャッシュやコンテキスト長のためのメモリも残しておく必要があります。

迷うとしたら、たぶん「安い16GBで27Bも試せるか、最初から24GBにするか」の一点です。27Bを主目的にするなら、16GBを買ってCPUオフロードで我慢するより、24GB以上を選んだほうが運用は読みやすいです。12Bまでなら、16GBは容量面で無理がありません。

12GBは12Bクラスを安く始める容量

RTX 3060の12GBは、今回の12Bモデルを7.4GBで動かし、31.84 tokens/sを記録しました。Ollamaを試す入口としては十分に実用的です。回答を待つ時間は高価なGPUより長くなりますが、短い質問への応答やコードのたたき台作成なら、常時使えない速度ではありません。

RTX 4070 Tiも12GBですが、同じ12Bクラスで52.25 tokens/sでした。速度を優先するなら3060より明確に快適です。ただしVRAM容量は増えていないため、12Bから27Bへ移行するためのGPUではありません。3060から買い替える場合も、「大きなモデルが動くようになる」というより、「同じサイズのモデルを早く返す」ための投資です。

中古価格を含めて3万円前後で始めたいなら、RTX 3060 12GBはまだ判断しやすい選択肢です。電源、冷却、カードの状態を確認できる中古品に限りますが、12Bクラスを試す目的であれば、いきなり24GBへ予算を広げる必要はありません。

16GBは12Bの余裕に使う容量で、27Bの入口ではない

RTX A4000の16GBは、12Bモデルと追加のコンテキスト余裕を考えるには扱いやすい容量です。実測では33.42 tokens/sでしたが、同名GPUでも別のPodでは37.39 tokens/sを記録しており、個体差やホスト差だけで約10％変わっています。

16GBを「24GBに近い容量」と考えるのは危険です。19.5GBの27Bモデルは収まらず、CPUオフロードによって5.43 tokens/sまで低下しました。VRAMの数GB差が、モデルの選択肢だけでなく速度の維持そのものを分けます。

24GBは27Bクラスを狙う人の基準になる

RTX 3090とRTX 4090は、どちらも24GBで27Bクラスを検討できる容量です。今回の12Bモデルでは、3090が63.16、4090が76.38 tokens/sでした。4090は生成を速くできますが、VRAMが増えるわけではないため、モデルの大きさを一段上げる目的では3090と同じ制約を受けます。

中古のRTX 3090は、消費電力やカードの状態を確認できるなら、24GBを比較的低い予算で確保する手段になります。長時間の生成では発熱と電源容量がボトルネックになりやすく、安く買えた後に冷却や電源で追加費用が出ることもあります。価格だけで4090との差を判断しないほうが安全です。

32GBは大きめのモデルと余裕を同時に取りたい容量

RTX 5090は32GBで、12Bモデルの実測は94.18 tokens/sでした。24GBではモデル本体やKVキャッシュの余裕が足りない場面でも、32GBなら選択肢を残しやすくなります。ただし、32GBだからすべての27B超モデルが快適になるわけではありません。量子化サイズ、コンテキスト長、ランタイムのメモリ使用量を個別に確認する必要があります。

12Bだけを使うなら、5090の速度は便利でも、費用対効果は用途次第です。複数ユーザーで同時に生成する、長いコンテキストを常用する、27B以上のモデルを頻繁に試す、といった負荷がないなら、VRAMと帯域に対する支出が余りやすいでしょう。

同じGPUと同じモデルでも、ランタイムが違えば速度は一致しません。RTX 3090では、llama.cppが75.44 tokens/s、Ollamaが63.16 tokens/sでした。差は約19％あります。別の条件ではランタイム差が約34％に達することもあるため、Ollama用GPUを選ぶならOllamaで測った数値だけを比較すべきです。

初回起動直後のコールド状態も、そのまま比較には使えません。RTX 5090では23.59 tokens/sから、warm状態の94.18 tokens/sまで変化しました。モデルのロード、キャッシュ、実行環境の初期化が残った状態では、GPUの性能ではなく起動直後の待ち時間を測ってしまいます。

購入前や自分のPCで測るときは、次の条件を揃えてください。

• Ollamaのバージョン、モデル名、量子化形式を固定する
• モデルを一度読み込んだ後、warm状態で複数回測る
• GPU使用率、VRAM使用量、CPUオフロードの有無を確認する
• 生成速度と、初回ロード時間・プロンプト処理速度を分けて記録する

同じGPU名だから同じ数字が出る、と考えると外れます。A4000で37.39と33.42 tokens/sが別のPodで出たように、ホストCPU、PCIe、電力制限、ドライバー、冷却状態でも差が出ます。実機を買う前の比較では、数字を一点ではなく幅で見るのが現実的です。

GPUを買い替える代わりに、4Bや7Bの小型モデルへ移行する方法もあります。小型モデルはVRAMに収まりやすく、生成も速くなります。しかし、モデルサイズが小さくなれば回答品質が同じままというわけではありません。

実際にgemma3:4bが「日本の第二の首都」を福岡と誤答する例がありました。これはGPUの速度問題ではなく、モデルそのものの知識や推論能力の問題です。12Bモデルを3060で動かすのと、4Bモデルを5090で動かすのでは、後者のほうが速くても回答品質まで上回るとは限りません。

「賢さは同じで待たされ方が違う」という整理が成立するのは、同一モデルをGPU違いで動かした場合です。モデルを小さくすれば、速度だけでなく、誤答の傾向やコード生成の安定性も変わります。

私の判断は明確です。Ollamaを始めて12Bクラスを使うなら、RTX 3060 12GBで十分です。31.84 tokens/sは、短い質問やコード補助をローカルで試す用途に対して、購入理由を失うほど遅くありません。浮いた予算をメモリ、SSD、電源、冷却へ回したほうが、PC全体の使い勝手は安定します。

12Bを速く返したいならRTX 4070 Ti、27Bクラスを動かしたいなら24GBのRTX 3090またはRTX 4090が候補です。3090は速度と消費電力の妥協、4090は速度と価格の妥協になります。32GBが必要なモデルや長いコンテキストを見込むなら、RTX 5090を検討する意味が出てきます。

ただし、ここでの「おすすめ」は、2026年6月に記録した実測と容量条件からの判断です。将来のOllama、ドライバー、モデル実装で数値が変わる可能性はあります。購入前には、使いたいモデルの量子化サイズがVRAMに収まり、KVキャッシュ分の余裕が残るかを確認してください。

12Bクラスなら、12GBのRTX 3060でもOllamaは実用になります。より速くしたいなら帯域の大きいGPUを選びますが、容量は12GBのままです。27Bクラスを狙う段階では、16GBではCPUオフロードによる約7倍の速度低下が起きたため、24GB以上を選ぶほうが失敗しにくいです。

今回の6GPUの差は、31.84から94.18 tokens/sでした。数字だけ見れば5090が最速ですが、全員が5090を買うべきという話ではありません。モデルがVRAMに収まることを確認し、そのうえでどれだけ待ち時間を減らしたいかを決める。OllamaのGPU選びは、その順番で考えると迷いがかなり減ります。

ベンチマーク結果は、タスク設計や計測条件によって印象が変わります。ローカルLLMの体感速度はGPU、量子化、コンテキスト長、同時実行数などで大きく動きます。今回の数値も、使用したモデル、ランタイム、warm状態という条件込みで読んでください。

今回は、同じ12BモデルをOllamaで動かし、モデル読み込み後のwarm状態における生成速度を比較しました。初回ロード時間やプロンプト処理速度は含めていません。

GPUを比較するときは、モデル名、量子化形式、Ollamaのバージョン、計測状態を揃える必要があります。VRAM使用量とCPUオフロードの有無も、速度を見るうえで外せない確認項目です。

12GBのGPUでOllamaを始められますか？

12Bクラスまでであれば、RTX 3060 12GBでも実用になります。今回の実測では31.84 tokens/sでした。より大きなモデルを使いたい場合は、VRAM容量を優先して検討してください。

RTX 4070 Tiに買い替えると、より大きなモデルを使えますか？

RTX 4070 Tiも12GBなので、VRAM容量によるモデルの上限はRTX 3060と大きく変わりません。今回の12Bモデルでは、4070 Tiのほうが速く生成できました。買い替えの効果は、主に同じサイズのモデルを早く返せる点にあります。

27Bモデルには何GBのVRAMが必要ですか？

今回の19.5GBの27Bモデルは、16GBのRTX A4000には収まりませんでした。CPUオフロードを避けて運用したいなら、24GB以上をひとつの基準にすると判断しやすくなります。ただし、量子化形式やコンテキスト長によって必要容量は変わります。

高価なGPUにすると回答も賢くなりますか？

同じモデルを使う限り、GPUを速いものに替えても回答品質そのものは変わりません。変わるのは生成速度です。小型モデルへ変更した場合は、速度だけでなく回答品質や誤答の傾向も変わります。

• Blogローカル最高80% vs クラウド93%——20点差が示す、規模の残酷な現実GPT-5.4 mini/nanoを同じ24問ベンチマークで測定。ローカル最高峰Qwen3.5:4bの80.8%に対し、miniは92.9%・nanoは79.2%。スコアの読み方と、正直な限界を書きます。→

6種類のGPUで gemma4:12b（Q4_K_M・7.4GB）を Ollama で動かし、モデル読み込み後の warm 状態で生成速度を測りました。RTX 4070 Ti のみ自宅の実機で、残りは RunPod と Vast.ai で借りた実GPUです。記録は2026年6月。指標は生成時の tokens/s に限り、初回ロード時間とプロンプト処理速度は含めていません。モデルとランタイムを揃えることで、GPU 以外の条件差を落としています。

VRAM に収まらないケースだけは別枠で、RTX A4000 16GB に27Bモデルを載せてCPUオフロードが発生した場合も測っています。速度が5.43 tokens/s まで落ちた数値は、この条件でのものです。

• BlogOllamaでローカルにチャットを住まわせた記録 — インストールからモデル選びまでOllamaを使ってローカルLLMを動かした実録。インストール手順・VRAM別モデル選び・実際に使って感じた正直な評価まで。RTX 4070 Ti（12GB）環境での体験ベース。→
• BlogOllama導入の罠と解決手順——GPU認識・日本語チャットまでの全記録と結論RTX 4070 Ti搭載の自宅サーバーにOllamaをSSHでセットアップした実録。非対話環境でのインストール罠、バイナリ直接DL、systemdサービス化、qwen2.5:7bでの日本語チャットまで。→
• Blog自分のPCで動かすAI — GPT4All完全ガイド。GPU選びからモデル選択までGPT4AllはGUIだけでローカルLLMが動かせるツール。GPU別モデル選択ガイドと、RTX 3060がなぜコスパ最強なのかを実用的に解説。LocalDocsでPDFをAIに読ませる方法も紹介。→

• 実際の構成を探すなら、GPU 比較ページやローカルLLM向け構成記事もあわせて見ると判断しやすいです。
• ハードウェア候補は用途別の AI 構成ガイドからたどると、単体製品より違和感なく検討できます。

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！