Qwen3.8-27B、16GBカードは買いか——実用下限は24GB

こんにちは。日中の暑さがまだ引かないうちは、重いモデルを GPU に載せるたびにカードの容量と発熱のことが気になってきますね。

先に答えを言うと、16GB のカードでは Qwen3.8-27B の実用的な標準の量子化量子化（Quantization）AI モデルの数値を少ない桁数で表し直して、ファイルと必要なメモリを小さくする手法。詳しく →（モデルを軽く圧縮する方法）は載りません。もっと軽い量子化なら短い会話くらいは動く可能性がありますが、画像の入力や会話の記憶（KV キャッシュ）まで含めて使うなら、実用の下限は 24GB です。実際に借りて測ると、24GB の RTX 3090 ではモデルが GPU に 100% 載り、借りたマシンによって毎秒 29〜50 トークン（t/s）出ました。12GB の RTX 3060 はモデルの 48% が CPU 側へこぼれて 6.84 t/s まで落ち、32GB の RTX 5090 も 100% 載りましたが、速度の記録は後で説明する理由で取り下げています。

迷うとしたら「安い 16GB で済ませるか、24GB まで一気に行くか」の一点だと思います。Qwen3.8-27B が目当てなら、16GB は節約というより、妥協を買う選択になりやすいです。12GB でのつまずき方は gemma4:12bはollamaで動かない — 12GB GPUでllama.cpp実測52t/sの最短ルート とつながる話なので、あわせて読むと見通しがよくなります。

Qwen3.8-27B は 27B の dense モデル、つまり毎回すべての重みを使って答えるタイプで、文章だけでなく画像も扱えます。Hugging Face に置かれた GGUFGGUF（ggml Unified Format）llama.cpp 系のソフトでローカル LLM を動かす時に使う、モデルの保存形式。詳しく →（ローカル実行向けのモデルファイル形式）の実ファイルを見ると、実用の標準として扱いやすい Q4_K_M は 17.1GB でした。推定の式から出した数字ではなく、2026年8月18日に取得した実ファイルのサイズです。

16GB カードの実容量は 16 GiB なので、Q4_K_M は重みだけでも収まりません。IQ4_XS まで落とすと 15.7GB になって重みだけは入りますが、残りは約 0.3GB です。KV キャッシュの置き場がほとんどなく、画像を読むための視覚エンコーダも入りません。

ですから「16GB では動かない」と一言で片付けるのは正確ではありません。IQ4_XS で短いテキスト会話を試すことはできます。ただ、Qwen3.8-27B を標準的な量子化で使うという意味では、16GB は容量が足りません。

OllamaOllama（ローカルLLMランタイム）手元の PC でオープンウェイトの LLM を手軽に動かすための、無料のソフト。詳しく →（ローカルで LLM を動かす定番ソフト）の qwen3.8:27b は、本体が Q4_K_M で 18GB、視覚プロジェクタ（画像を読むための部品）が BF16 で 931MB です。合わせると、実際に置かれるデータは約 19GB になります。Unsloth の 17.1GB と Ollama の 18GB の差は、表記の丸めや、付随ファイルを含むかどうかの違いです。

この 931MB は、重みだけを並べた VRAMVRAMグラフィックボードに載っている、GPU 専用の高速なメモリ。詳しく →（GPU 側のメモリ）の表では見落とされがちです。画像を使わない場合でも、実測ではモデル全体の GPU 使用量が 16.2 GiB に達しました。16GB カードの実容量をわずかに超えていて、会話の文脈を 1 トークンも置かない状態でさえ余裕がありません。

Qwen3.8-27B は文脈の長さ 262,144 トークンに対応し、YaRN という拡張で 1M まで伸ばせます。ただし文脈を増やすほど KV キャッシュも膨らみます。今回の 16.2 GiB を「長文も余裕で使える容量」と読まないようにしてください。

RTX 3060 12GB では、モデルの GPU 搭載率が 52% でした。使用量は 8.8 / 16.9 GiB で、残りの 48% は CPU 側に置かれています。その結果、温まった状態（warm）での速度は 6.84 t/s です。

24GB の RTX 3090 でいちばん遅かった 29.30 t/s と比べると、約 4.3 分の 1 です。6.84 t/s は人が文章を音読するくらいの速さに近く、Qwen3.8-27B が考えてから答える設定では、思考の 1,000 トークンだけで最初の一文字が出るまで約 2 分半かかります。「起動した」と「待たずに使える」のあいだには、かなりの距離があります。

12GB のカードを持っている人がまず確かめるべきなのは、読み込めるかどうかではなく、CPU へのはみ出し（CPU オフロード）を許容できるかです。コードの補完や短い質問をときどき投げる程度なら試せますが、答えを待つ時間まで含めると、ローカルで動かす意味が薄くなる場面があります。

24GB の RTX 3090 は、4 台すべてで GPU 搭載率 100%、使用 VRAM は 16.2 GiB でした。採用した 3 台の速度は 29.30、45.46、49.70 t/s に分かれています。RTX 3090 をひとつの速度で語るのは危なっかしく、29〜50 t/s という幅で見るのが実用的です。

32GB の RTX 5090 も GPU 搭載率 100%、使用量 16.3 GiB でした。ただ、記録された速度は 1 枚の RTX 5090 では物理的に出せない値だったので、後の節で取り下げます。100% 載ること自体は確認できています。

GPU に全部載ったあとは、VRAM の容量だけで速度が決まるわけではありません。現に、同じ RTX 3090 でもマシンによって 1.7 倍の差が出ました。

断崖は16GBと24GBの間にある。容量が足りない側は、足りない分だけCPUへこぼれる

4 台の RTX 3090 は、どれも GPU 搭載率 100%、VRAM 使用量 16.2 GiB で同じでした。それでも、ブルガリアのマシンは 29.30 t/s、チェコの 2 台は 45.46 t/s と 49.70 t/s です。オランダのマシンはこれらを上回りましたが、その値は採用していません（理由は次の節で）。

モデルが GPU に収まっていても、GPU は CPU やメインメモリとデータをやり取りし続けます。CPU の世代が効いている可能性はありますが、採用できた 3 台のうち 2 台は CPU が分からず、相関を言えるだけの台数がありません。ここは「周りの環境で差が出る」までに留めておきます。

もうひとつ、RTX 3090 では起動直後（cold）の 18.52 t/s から温まった後の 29.30 t/s まで差が出ました。cold を 1 本だけ測ると、同じカードを 18 t/s 級として報告してしまいます。今回の速度は、cold の 1 本を捨て、warm の 2 本が ±10% 以内で一致した値です。

公開後に検算したところ、2 つの値が 1 枚のカードでは物理的に出せないものだと分かりました。

生成の速さは、メモリの帯域（1 秒あたりに読み出せる量）で頭打ちになります。モデルのファイルサイズは 16.81GB なので、1 トークン生成するたびにこれだけ読み出す必要があります。RTX 3090 のメモリ帯域は 936GB/s ですから、理屈の上でも 936÷16.81＝毎秒 55.7 トークンが限界です。RTX 5090（1792GB/s）なら 106.6 です。

記録されていたのは、オランダの RTX 3090 が 61.84 t/s、RTX 5090 が 134.33 t/s で、どちらもこの限界を超えています。実際には限界の 8〜9 割しか出ないので、超えること自体があり得ません。

原因は特定できていません。当時、借りたマシンに GPU が何枚見えていたかを記録していなかったからです。複数枚あればモデルを分けて帯域を足し合わせられるので、2 枚と仮定すると両方ともふつうの値に収まります。とはいえ記録が無い以上、推測の域を出ません。

そこでこの 2 つは採用せず、限界内に収まっていた 3 台だけで速度を示しています。以後の計測では GPU の枚数を記録し、理論上の限界を超えた値はその場で止める仕組みを入れます。

2026年8月18日時点の実際の単価で見ると、RTX 3060 12GB は 100 万トークンあたり $2.84 でした。OpenRouter で Qwen3.8-27B を API（ネット越しに使うサービス）として使うと $3.10 なので、自分の手元で動かしても費用の差はわずかです。そのうえ 6.84 t/s は、API でいちばん遅い提供元 io.net の 9 t/s を下回りました。

VRAM が足りないカードで粘ると、「遅い」と「安くならない」が同時に起きます。12GB をもう持っているから無料、とは限りません。待ち時間を作業時間として数えると、判断は変わってきます。

GPU を買うか借りるか、何年で元が取れるかは、使う量と購入価格で変わります。この話はローカルLLMのGPUレンタルと購入の比較に分けました。

Qwen3.8-27B 専用で考えるなら、24GB が最低ラインです。RTX 3090 は環境による差こそ大きいものの、GPU に 100% 載せられます。16GB 帯には RTX 5070 Ti、RTX 4080 Super、RX 9070 XT のような現行の十万円級カードもありますが、Q4_K_M を載せる用途では容量が先に壁になります。

32GB なら、実測の使用量 16.2〜16.3 GiB に対して余裕が残ります。今回確認した 32GB 帯で一般に買える選択肢は実質 RTX 5090 で、業務用のカードまで含めればほかにもあります。速度を優先するなら 32GB、価格と容量の折り合いをつけるなら 24GB、という整理です。

手持ちのカード別に言えば、こうなります。

• 12GB: CPU へのはみ出しを前提にした検証用
• 16GB: IQ4_XS 以下で短いテキスト会話を試す用途
• 24GB: Q4_K_M を実用の範囲で使う用途
• 32GB: 速度と将来の余白を買う用途

27B クラスを動かすために 16GB カードへ買い替えるのは、避けたほうがよいと思います。

買う前に、同じカードを 1 時間だけ借りて確かめる

この記事の数値は、すべて Vast.ai で RTX 3060・RTX 3090・RTX 5090 を実際に借りて測ったものです。RTX 3090 なら時給 $0.14〜0.19、RTX 5090 でも $0.51 程度でした。数十万円のカードを買う前に、自分の使うモデルとプロンプトで速度を確かめられます。

ただ、借りるのにも起動待ちや空振りという別のコストがあります。借りる場合の実務はローカルLLMのGPUレンタルと購入の比較にまとめました。

上記は紹介リンク（アフィリエイト）です。実際に自分で借りて計測した結果に基づいて紹介しています。

VRAM が動くかどうかを分け、帯域やマシンの環境が速度を左右する、という一般論はその通りです。そのうえで、今回見るべき断崖は 16GB と 24GB の間にあります。もっと広い GPU 選びの整理は、Gemma 4のVRAMとGPU速度の実測記事に譲ります。

今回の速度は、Ollama で qwen3.8:27b を使い、Qwen 系の思考を切った think:false で測った単発の生成の値です。別のランタイム、思考あり、長い文脈、画像入力、同時実行では変わります。

12GB の 6.84 t/s と、以前に別のモデル・別のカードで確かめた速度の落ち方の倍率は、同じ扱いにできません。モデルとカードの組み合わせで崩れ方が変わるので、今回の倍率をほかの 27B モデルへ広げて当てはめないでください。

測ったのは 2026年8月18日です。Hugging Face の Qwen3.8-27B GGUF の実ファイル、Ollama の既定のタグ、Vast.ai 上の RTX 3060・RTX 3090・RTX 5090 を確認しました。計測は cold の 1 本を捨て、warm の 2 本が ±10% 以内で一致することを条件にしています。VRAM の使用量は Ollama の/api/psで確認しました。

出典

• Qwen/Qwen3.8-27B
• unsloth/Qwen3.8-27B-GGUF：2026年8月18日取得
• Ollama qwen3.8:27b
• 自前実測：scripts/runpod/benchmark-ledger.json、Vast.ai・Ollama、2026年8月18日
• OpenRouter価格ページ：2026年8月18日確認

• META-MARK

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！