メインコンテンツへスキップ
← ブログに戻る
事例紹介Session 642026年2月28日by K.hirano

Qwen3:8bは4bより賢いのか?同じ24問で試したら予想外の結果だった

前回テストしたQwen3:4b(Rank A・127 tok/s)の上位モデルQwen3:8bを同じ24問で評価。大きいほど賢いはずという期待を、数字が静かに裏切った記録。

#Qwen3#ローカルLLM#ベンチマーク#Ollama#8b#4b#比較#qwen-3

前回、Qwen3:4b 24問テスト——コード95点、日本語22点の衝撃格差BlogQwen3:4b 24問テスト——コード95点、日本語22点の衝撃格差4Bパラメータの軽量モデルQwen3:4bを24問テスト。論理・コードで95%を叩き出しながら日本語力は22%に沈む衝撃の格差を徹底解剖。を24問テストして180点(Rank A)を取った。コード91.7%・論理95%・ただし日本語は21.7%という「ゴリラプログラマ型」の結果だった。

著者: HWエンジニア20年超、ローカルAI運用中 | 2026-02-28

同じテストスイートを8bに通したらどうなるか。2倍のパラメータだから、当然スコアは上がるはずだ——そう思って動かした。

📋 この記事で使用したテスト問題(全24問)は LLM 24問テストスイート で確認できます。

テスト環境

項目
モデル名qwen3:8b
パラメータ数約8B
量子化Q4_K_M
推論フレームワークOllama
CPUAMD Ryzen 9 5900X(12コア)
GPUNVIDIA RTX 4070 Ti(VRAM 12GB)
VRAM使用量約5GB
推論速度11.5 tok/s
1問あたり平均応答時間約100秒
コンテキスト長(ctx)16,384 tokens
テスト時 temperature0.3(全問固定)
テスト日2026-02-28

参考リンク: Qwen3 公式ブログ | Ollama ライブラリ

同条件でテストしたQwen3:4b 24問テスト——コード95点、日本語22点の衝撃格差BlogQwen3:4b 24問テスト——コード95点、日本語22点の衝撃格差4Bパラメータの軽量モデルQwen3:4bを24問テスト。論理・コードで95%を叩き出しながら日本語力は22%に沈む衝撃の格差を徹底解剖。24問テストして198点/240点——Nemotron 9Bの正直な成績表Blog24問テストして198点/240点——Nemotron 9Bの正直な成績表ローカルLLM Nemotron-Nano-9B-v2-Japaneseに意地悪な引っかけ・論理パズル・コーディング・日本語力の24問を投げた本気の成績表。RTX 4070 Ti(VRAM 12GB)で63 tok/s、コーディング95%・総合82.5%(ランクA)。弱点も正直に語る。と比較可能。

目次

結果サマリー

カテゴリスコア正解率
A(意地悪・引っかけ)53/6088.3%
B(論理・推論パズル)30/6050.0%
C(コーディング・技術)50/6083.3%
D(日本語力)42/6070.0%
合計175/24072.9%
ランクB

LLM性格診断:「考えすぎエンジニア型」

コードも意地悪問題もちゃんと解ける。日本語も前世代より格段に改善された。ところが複雑な論理パズルに入ると推論が止まらなくなる。「嘘つきと正直者」問題で180秒考え続け、川渡りでも180秒、天秤問題でも180秒——タイムアウト後に強制終了する羽目になった。能力がないのではなく、答えに向かう途中でループに入るタイプだ。

4bとの比較:期待が裏切られた理由

まず数字を並べる。

| カテゴリ | 4b | 8b | 差 | |---------|-----|-----|----|| | A(意地悪) | 55/60(91.7%) | 53/60(88.3%) | ▼3pt | | B(論理) | 57/60(95.0%) | 30/60(50.0%) | ▼27pt | | C(コード) | 55/60(91.7%) | 50/60(83.3%) | ▼5pt | | D(日本語) | 13/60(21.7%) | 42/60(70.0%) | △29pt | | 合計 | 180/240(75.0%) | 175/240(72.9%) | ▼5pt | | ランク | A | B | ▼ | | 速度 | 127.9 tok/s | 11.5 tok/s | ▼91% | | VRAM | 2.8GB | 5GB | ▼ |

日本語だけが改善した。それ以外は全て後退している。

特に論理カテゴリの-27ptは痛い。4bが95%だったのに対して8bは50%。タイムアウト3問(B2・B5・B6)がそのままスコアに直撃した。コーディングも-5ptで、これもC6がタイムアウトしている。

合計スコアはほぼ同じ(175 vs 180)なのにランクが一段下がったのは、4bの強みだった論理が8bで崩壊したためだ。

速度については単純に衝撃だ。127.9 tok/sから11.5 tok/sへ、約11分の1。1問あたり平均100秒かかる。4bは同じ問題を平均20秒で回答していた。24問合計で2,397秒(約40分)かかっている。

Round 1: 意地悪・引っかけ問題(53/60)

A1: バットとボール問題

問題:バットとボールで合わせて110円。バットはボールより100円高い。ボールはいくら?

Qwen3:8bの回答(抜粋)

ボールの価格をB円とすると、B + (B+100) = 110、よって2B = 10、B = 5円

代数式を立てて即答。引っかかっていない。

判定:10/10

A3: 生きている人がお墓に入れるか

問題:法的に生きている人が、自分のお墓に自分で入ることは許可されていますか?

4bはこの問題で前提の矛盾を指摘できず法律論に走った。8bは——

Qwen3:8bの回答(抜粋)

法的に生きている人にはお墓が存在せず、自分を埋葬することは刑法上の罪に該当します。位牌法においても…

同じ方向に走った。「生きているのに墓に入る」という前提の矛盾を指摘するより、真面目に法律論を展開してしまう。4bも8bも同じ罠に入った。パラメータを2倍にしても改善しなかった問題がある、ということだ。

判定:3/10

Round 1 小計:53/60(88.3%)

Round 2: 論理・推論パズル(30/60)——最大の誤算

B1: モンティ・ホール問題

Qwen3:8bの回答(抜粋)

初期選択のドア1は確率1/3。ドア3が開いた後、ドア2の確率は2/3。変えるべきです。

完璧に正解。条件付き確率も正しく説明した。

判定:10/10

B2: 嘘つきと正直者

問題:AかBのどちらかが嘘つき。「あなたは正直者ですか?」とAに聞いたら何と答える?

結果:タイムアウト(180秒)

4bは即答で「どちらでも『はい』と答える」と正確に回答した問題だ。8bは180秒間推論し続けて答えを出せなかった。タイムアウト後の応答は空白だった。

シンプルな論理問題で詰まったのではなく、おそらく「正直者とは何か」「嘘つきとは何か」という定義の検討から入り、そこから出られなくなったのだと思う。考え始めると止まれないのが、このモデルの性質だ。

判定:0/10

B5・B6もタイムアウト

川渡り問題(B5)・天秤コイン問題(B6)ともに180秒で強制終了。4bはB5を7ステップで完全解答、B6も英語で完璧に解いた。8bはどちらも答えを出せなかった。

論理カテゴリで4bが95%を取ったのに、8bは50%。この逆転は、推論の「量」が増えたことで「深みにはまりやすくなった」という側面を示している。

Round 2 小計:30/60(50.0%)

Round 3: コーディング・技術(50/60)

C1: FizzBuzzJazz

python
for i in range(1, 31):
    s = ""
    if i % 3 == 0: s += "Fizz"
    if i % 5 == 0: s += "Buzz"
    if i % 7 == 0: s += "Jazz"
    print(s if s else i)

4bと同じ実装を出力。シンプルで正確。105=FizzBuzzJazzも正しく処理される。

判定:10/10

C2〜C5:全問正解

JavaScriptのvar問題・SQLインジェクション・再帰フィボナッチのO(2^n)問題・Pythonデフォルト引数の罠——全て的確に回答。コーディング問題に関しては8bも十分な精度を持っている。

C6: 正規表現チャレンジ

結果:タイムアウト(180秒)

4bはこの問題でテストスイートの誤りを検出して部分点を得ていた。8bは180秒考え続けて答えを出せなかった。正規表現を実際に検証しながら推論した結果、思考ループに入ったと考えられる。

Round 3 小計:50/60(83.3%)

Round 4: 日本語力テスト(42/60)——唯一の逆転

ここで8bは4bを大きく上回った。4bの21.7%に対して、8bは70.0%だ。

D1: 敬語の問題点

4bは「ご確認いただければと存じます」の別箇所を指摘して0点だった。8bは全体の冗長さを指摘したが、「ご説明させていただきました」の二重敬語という核心には届かなかった。それでも0点から5点への改善は実質的だ。

判定:5/10(4bは0/10)

D6: 「やばい」の5文脈解釈

4bは「このラーメンやばい」を「味や質が不満」と解釈して全5文を否定的と判断した。8bは全5文の肯定・否定を正確に識別した。

現代日本語スラングの語義変化——「やばい」が2010年代以降に肯定的用法として定着した変化——に8bは対応している。これが4bと8bで最も明確な差として出た問題だった。

判定:10/10(4bは0/10)

Round 4 小計:42/60(70.0%)

最終スコアカード

カテゴリ得点満点正解率
A(意地悪)536088.3%
B(論理)306050.0%
C(コード)506083.3%
D(日本語)426070.0%
合計17524072.9%

ランク:B / LLM性格診断:考えすぎエンジニア型

4bで十分か、8bが必要か

正直に言う。用途次第でどちらも「正解」になる。

日本語で会話・文章生成・翻訳をするなら8bを選ぶ理由がある。21.7%から70.0%への改善は実用上の差だ。「やばい」の文脈を正しく理解する、現代スラングに対応している——日常的な日本語タスクでは体感で違いが出る。

一方、コーディング・論理・数学が中心なら4bで十分か、むしろ4bの方が良い。論理95%対50%という差は無視できない。タイムアウト問題が出ないだけで実用性は大きく違う。速度も127 tok/sと11 tok/sでは、実際の作業感が別物だ。

VRAMの観点では、4bが約2.8GBで動くのに対し8bは約5GB必要だ。VRAM 6GB以下のGPU環境なら8bを動かすこと自体がリスクになる。GPUランキングで自分の環境に合ったGPUを確認できる。AI構成カリキュレーターでVRAM別に動作するAIツールも一覧できる。

まぁ、「大きいほど賢い」という単純な話ではない——それだけは今回ではっきりした。モデルのサイズとスコアが逆転するケースが、同じモデルファミリーの中でも起きる。測るまでは分からない。

よくある質問(FAQ)

Q. Qwen3:8bを動かすのに必要なVRAMは?

A. Q4_K_M量子化で約5GBのVRAMを使用した。RTX 4060(8GB)以上で余裕を持って動作する。コンテキスト長16,384を確保するにはVRAM 8GB以上を推奨する。詳細なティア別要件はQwen 3のAIワークロードページで確認できる。

Q. Thinking Modeをオフにするとタイムアウトは改善する?

A. 改善する可能性が高い。リクエストに"think": falseパラメータを渡すか、プロンプトに/no_thinkを付けると推論トークンを消費せず直接回答を出力する。コード生成・翻訳・要約などシンプルなタスクはno_thinkモードでも精度が落ちにくい。

Q. 4bと8b、どちらから試すべき?

A. 日本語メインなら8b。コーディング・ロジックメインなら4bから始めて困ったら8bへ、というアプローチが現実的だと思う。どちらもOllamaでollama pull qwen3:4bollama pull qwen3:8bの一行でインストールできる。Ollamaの詳しいセットアップはOllama汎用セットアップガイドを参照。

所感

8bで日本語が3倍以上スコアアップした一方、論理が半分に落ちてランクが一段下がった。速度は11分の1になった。

数字だけ見ると「なんのためにサイズアップしたのか」という話になるが、それは用途を考えていなかったからだ。日本語が必要かどうかで評価がまるで変わる。コーディングアシスタントとして使うなら4bの方が速くて精度も高い。日本語文章の生成・要約・翻訳なら8bの方が明らかにいい。

モデルサイズの選択は「大きければ良い」ではなく「何に使うかで決まる」——釣りでいえば、大物狙いの仕掛けで小物しかいない場所に入っても釣れないのと同じだ。環境と目的に合った選択をする。それだけの話だった。

関連記事

関連リンク

  • 実際の構成を探すなら、GPU 比較ページやローカルLLM向け構成記事もあわせて見ると判断しやすいです。
  • ハードウェア候補は用途別の AI 構成ガイドからたどると、単体製品より違和感なく検討できます。

この記事を書いた人

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です!エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします!

結論、DGX SparkとRTX Sparkは性能でなくOSで選ぶ——2つのSparkの違い
NEW
2026年9月6日
チュートリアル

結論、DGX SparkとRTX Sparkは性能でなくOSで選ぶ——2つのSparkの違い

DGX SparkとRTX Sparkの共通仕様と違いを、OS・形態・時期・用途で整理。実機未検証の範囲も明記します。

#DGX Spark#RTX Spark#NVIDIA#ローカルLLM#AI開発
Fable 5.1 は『low で旧 max 超え』なのか|公式グラフ5枚をベンチ別に正直に読む
2026年9月3日
開発ログ

Fable 5.1 は『low で旧 max 超え』なのか|公式グラフ5枚をベンチ別に正直に読む

Claude Fable 5.1 の公式グラフ5枚をベンチ別に読み、low が旧 Fable 5 の max を超えたベンチと超えなかったベンチを表にしました。常用 effort の決め方と Pro/Max の課金条件も整理します。

#Claude#Claude Code#Anthropic#LLM#ベンチマーク
Gemma 4 26B A4B vs Ornith 1.5、12GBの答えはどちらか
2026年8月30日
開発ログ

Gemma 4 26B A4B vs Ornith 1.5、12GBの答えはどちらか

VRAM 12GB の RTX 4070 Ti で Ornith 1.5 9B と Gemma 4 26B A4B を同条件比較。速度 80.0 対 72.9 tok/s、VRAM は 5.9GB 対 11.6GB で Ornith が優位、コーディングは 60点満点で 26B を上回りました。一方 24問テスト総合は 199 対 220 で日本語力に差。長考の末に無回答となる症状は両モデル共通でした。

#ローカルLLM#Gemma#Ornith#llama.cpp#GPU
Gemma 4 26B A4B 実測:12GBのGPUで72.9 tok/s、24問テストは過去最高スコア
2026年8月30日
開発ログ

Gemma 4 26B A4B 実測:12GBのGPUで72.9 tok/s、24問テストは過去最高スコア

VRAM 12GB の RTX 4070 Ti で Gemma 4 26B A4B を実測。llama.cpp の --cpu-moe を -ncmoe 9 に変えるだけで 35.0 → 72.9 tok/s になり、12B を全部GPUに載せた 58.6 tok/s を上回りました。24問テストは 220/240 でランクS。長考時に空応答を返す弱点もあわせて記録しています。

#ローカルLLM#Gemma#llama.cpp#GPU#gemma-4

関連AIツール

META-MARK × AI

ローカルAIを動かすGPU、ちゃんと選べていますか?

VRAM・性能・コスパをMetaScoreで数値化。AIアプリ別の推奨ハードウェア要件も確認できます。