前回テストしたQwen3:4b(Rank A・127 tok/s)の上位モデルQwen3:8bを同じ24問で評価。大きいほど賢いはずという期待を、数字が静かに裏切った記録。
前回、
BlogQwen3:4b 24問テスト——コード95点、日本語22点の衝撃格差4Bパラメータの軽量モデルQwen3:4bを24問テスト。論理・コードで95%を叩き出しながら日本語力は22%に沈む衝撃の格差を徹底解剖。→を24問テストして180点(Rank A)を取った。コード91.7%・論理95%・ただし日本語は21.7%という「ゴリラプログラマ型」の結果だった。
著者: HWエンジニア20年超、ローカルAI運用中 | 2026-02-28
同じテストスイートを8bに通したらどうなるか。2倍のパラメータだから、当然スコアは上がるはずだ——そう思って動かした。
📋 この記事で使用したテスト問題(全24問)は LLM 24問テストスイート で確認できます。
| 項目 | 値 |
|---|---|
| モデル名 | qwen3:8b |
| パラメータ数 | 約8B |
| 量子化 | Q4_K_M |
| 推論フレームワーク | Ollama |
| CPU | AMD Ryzen 9 5900X(12コア) |
| GPU | NVIDIA RTX 4070 Ti(VRAM 12GB) |
| VRAM使用量 | 約5GB |
| 推論速度 | 11.5 tok/s |
| 1問あたり平均応答時間 | 約100秒 |
| コンテキスト長(ctx) | 16,384 tokens |
| テスト時 temperature | 0.3(全問固定) |
| テスト日 | 2026-02-28 |
参考リンク: Qwen3 公式ブログ | Ollama ライブラリ
同条件でテストした
BlogQwen3:4b 24問テスト——コード95点、日本語22点の衝撃格差4Bパラメータの軽量モデルQwen3:4bを24問テスト。論理・コードで95%を叩き出しながら日本語力は22%に沈む衝撃の格差を徹底解剖。→・
Blog24問テストして198点/240点——Nemotron 9Bの正直な成績表ローカルLLM Nemotron-Nano-9B-v2-Japaneseに意地悪な引っかけ・論理パズル・コーディング・日本語力の24問を投げた本気の成績表。RTX 4070 Ti(VRAM 12GB)で63 tok/s、コーディング95%・総合82.5%(ランクA)。弱点も正直に語る。→と比較可能。
| カテゴリ | スコア | 正解率 |
|---|---|---|
| A(意地悪・引っかけ) | 53/60 | 88.3% |
| B(論理・推論パズル) | 30/60 | 50.0% |
| C(コーディング・技術) | 50/60 | 83.3% |
| D(日本語力) | 42/60 | 70.0% |
| 合計 | 175/240 | 72.9% |
| ランク | B | ─ |
コードも意地悪問題もちゃんと解ける。日本語も前世代より格段に改善された。ところが複雑な論理パズルに入ると推論が止まらなくなる。「嘘つきと正直者」問題で180秒考え続け、川渡りでも180秒、天秤問題でも180秒——タイムアウト後に強制終了する羽目になった。能力がないのではなく、答えに向かう途中でループに入るタイプだ。
まず数字を並べる。
| カテゴリ | 4b | 8b | 差 | |---------|-----|-----|----|| | A(意地悪) | 55/60(91.7%) | 53/60(88.3%) | ▼3pt | | B(論理) | 57/60(95.0%) | 30/60(50.0%) | ▼27pt | | C(コード) | 55/60(91.7%) | 50/60(83.3%) | ▼5pt | | D(日本語) | 13/60(21.7%) | 42/60(70.0%) | △29pt | | 合計 | 180/240(75.0%) | 175/240(72.9%) | ▼5pt | | ランク | A | B | ▼ | | 速度 | 127.9 tok/s | 11.5 tok/s | ▼91% | | VRAM | 2.8GB | 5GB | ▼ |
日本語だけが改善した。それ以外は全て後退している。
特に論理カテゴリの-27ptは痛い。4bが95%だったのに対して8bは50%。タイムアウト3問(B2・B5・B6)がそのままスコアに直撃した。コーディングも-5ptで、これもC6がタイムアウトしている。
合計スコアはほぼ同じ(175 vs 180)なのにランクが一段下がったのは、4bの強みだった論理が8bで崩壊したためだ。
速度については単純に衝撃だ。127.9 tok/sから11.5 tok/sへ、約11分の1。1問あたり平均100秒かかる。4bは同じ問題を平均20秒で回答していた。24問合計で2,397秒(約40分)かかっている。
問題:バットとボールで合わせて110円。バットはボールより100円高い。ボールはいくら?
Qwen3:8bの回答(抜粋)
ボールの価格をB円とすると、B + (B+100) = 110、よって2B = 10、B = 5円。
代数式を立てて即答。引っかかっていない。
判定:10/10
問題:法的に生きている人が、自分のお墓に自分で入ることは許可されていますか?
4bはこの問題で前提の矛盾を指摘できず法律論に走った。8bは——
Qwen3:8bの回答(抜粋)
法的に生きている人にはお墓が存在せず、自分を埋葬することは刑法上の罪に該当します。位牌法においても…
同じ方向に走った。「生きているのに墓に入る」という前提の矛盾を指摘するより、真面目に法律論を展開してしまう。4bも8bも同じ罠に入った。パラメータを2倍にしても改善しなかった問題がある、ということだ。
判定:3/10
Round 1 小計:53/60(88.3%)
Qwen3:8bの回答(抜粋)
初期選択のドア1は確率1/3。ドア3が開いた後、ドア2の確率は2/3。変えるべきです。
完璧に正解。条件付き確率も正しく説明した。
判定:10/10
問題:AかBのどちらかが嘘つき。「あなたは正直者ですか?」とAに聞いたら何と答える?
結果:タイムアウト(180秒)
4bは即答で「どちらでも『はい』と答える」と正確に回答した問題だ。8bは180秒間推論し続けて答えを出せなかった。タイムアウト後の応答は空白だった。
シンプルな論理問題で詰まったのではなく、おそらく「正直者とは何か」「嘘つきとは何か」という定義の検討から入り、そこから出られなくなったのだと思う。考え始めると止まれないのが、このモデルの性質だ。
判定:0/10
川渡り問題(B5)・天秤コイン問題(B6)ともに180秒で強制終了。4bはB5を7ステップで完全解答、B6も英語で完璧に解いた。8bはどちらも答えを出せなかった。
論理カテゴリで4bが95%を取ったのに、8bは50%。この逆転は、推論の「量」が増えたことで「深みにはまりやすくなった」という側面を示している。
Round 2 小計:30/60(50.0%)
for i in range(1, 31):
s = ""
if i % 3 == 0: s += "Fizz"
if i % 5 == 0: s += "Buzz"
if i % 7 == 0: s += "Jazz"
print(s if s else i)
4bと同じ実装を出力。シンプルで正確。105=FizzBuzzJazzも正しく処理される。
判定:10/10
JavaScriptのvar問題・SQLインジェクション・再帰フィボナッチのO(2^n)問題・Pythonデフォルト引数の罠——全て的確に回答。コーディング問題に関しては8bも十分な精度を持っている。
結果:タイムアウト(180秒)
4bはこの問題でテストスイートの誤りを検出して部分点を得ていた。8bは180秒考え続けて答えを出せなかった。正規表現を実際に検証しながら推論した結果、思考ループに入ったと考えられる。
Round 3 小計:50/60(83.3%)
ここで8bは4bを大きく上回った。4bの21.7%に対して、8bは70.0%だ。
4bは「ご確認いただければと存じます」の別箇所を指摘して0点だった。8bは全体の冗長さを指摘したが、「ご説明させていただきました」の二重敬語という核心には届かなかった。それでも0点から5点への改善は実質的だ。
判定:5/10(4bは0/10)
4bは「このラーメンやばい」を「味や質が不満」と解釈して全5文を否定的と判断した。8bは全5文の肯定・否定を正確に識別した。
現代日本語スラングの語義変化——「やばい」が2010年代以降に肯定的用法として定着した変化——に8bは対応している。これが4bと8bで最も明確な差として出た問題だった。
判定:10/10(4bは0/10)
Round 4 小計:42/60(70.0%)
| カテゴリ | 得点 | 満点 | 正解率 |
|---|---|---|---|
| A(意地悪) | 53 | 60 | 88.3% |
| B(論理) | 30 | 60 | 50.0% |
| C(コード) | 50 | 60 | 83.3% |
| D(日本語) | 42 | 60 | 70.0% |
| 合計 | 175 | 240 | 72.9% |
ランク:B / LLM性格診断:考えすぎエンジニア型
正直に言う。用途次第でどちらも「正解」になる。
日本語で会話・文章生成・翻訳をするなら8bを選ぶ理由がある。21.7%から70.0%への改善は実用上の差だ。「やばい」の文脈を正しく理解する、現代スラングに対応している——日常的な日本語タスクでは体感で違いが出る。
一方、コーディング・論理・数学が中心なら4bで十分か、むしろ4bの方が良い。論理95%対50%という差は無視できない。タイムアウト問題が出ないだけで実用性は大きく違う。速度も127 tok/sと11 tok/sでは、実際の作業感が別物だ。
VRAMの観点では、4bが約2.8GBで動くのに対し8bは約5GB必要だ。VRAM 6GB以下のGPU環境なら8bを動かすこと自体がリスクになる。GPUランキングで自分の環境に合ったGPUを確認できる。AI構成カリキュレーターでVRAM別に動作するAIツールも一覧できる。
まぁ、「大きいほど賢い」という単純な話ではない——それだけは今回ではっきりした。モデルのサイズとスコアが逆転するケースが、同じモデルファミリーの中でも起きる。測るまでは分からない。
Q. Qwen3:8bを動かすのに必要なVRAMは?
A. Q4_K_M量子化で約5GBのVRAMを使用した。RTX 4060(8GB)以上で余裕を持って動作する。コンテキスト長16,384を確保するにはVRAM 8GB以上を推奨する。詳細なティア別要件はQwen 3のAIワークロードページで確認できる。
Q. Thinking Modeをオフにするとタイムアウトは改善する?
A. 改善する可能性が高い。リクエストに"think": falseパラメータを渡すか、プロンプトに/no_thinkを付けると推論トークンを消費せず直接回答を出力する。コード生成・翻訳・要約などシンプルなタスクはno_thinkモードでも精度が落ちにくい。
Q. 4bと8b、どちらから試すべき?
A. 日本語メインなら8b。コーディング・ロジックメインなら4bから始めて困ったら8bへ、というアプローチが現実的だと思う。どちらもOllamaでollama pull qwen3:4b・ollama pull qwen3:8bの一行でインストールできる。Ollamaの詳しいセットアップはOllama汎用セットアップガイドを参照。
8bで日本語が3倍以上スコアアップした一方、論理が半分に落ちてランクが一段下がった。速度は11分の1になった。
数字だけ見ると「なんのためにサイズアップしたのか」という話になるが、それは用途を考えていなかったからだ。日本語が必要かどうかで評価がまるで変わる。コーディングアシスタントとして使うなら4bの方が速くて精度も高い。日本語文章の生成・要約・翻訳なら8bの方が明らかにいい。
モデルサイズの選択は「大きければ良い」ではなく「何に使うかで決まる」——釣りでいえば、大物狙いの仕掛けで小物しかいない場所に入っても釣れないのと同じだ。環境と目的に合った選択をする。それだけの話だった。
HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です!エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします!
META-MARK × AI
ローカルAIを動かすGPU、ちゃんと選べていますか?
VRAM・性能・コスパをMetaScoreで数値化。AIアプリ別の推奨ハードウェア要件も確認できます。