Qwen3:4b 24問テスト——コード95点、日本語22点の衝撃格差

4Bパラメータで論理95点を取る。同じモデルが日本語22点を取る。この格差、説明がつく理由と、つかない理由が両方ある。

著者: HWエンジニア20年超、ローカルAI運用中 | 2026-02-28

📋 この記事で使用したテスト問題（全24問）は LLM 24問テストスイート で確認できます。

• テスト環境
• 結果サマリー
  • LLM性格診断：「ゴリラプログラマ型」
  • テスト前の一苦労：Thinking Modeという罠
• Round 1: 意地悪・引っかけ問題
  • A1: バットとボール問題
  • A2: 太郎と姉の問題
  • A3: 生きている人がお墓に入れるか
  • A4: りんごの行方
  • A5: 2026年3月の月曜日の数
  • A6: 担当医の謎
• Round 2: 論理・推論パズル
  • B1: モンティホール問題
  • B2: 嘘つき問題
  • B3: 水差し4リットル計量
  • B4: 100人の囚人・帽子問題
  • B5: 農夫・狼・ヤギ・キャベツ
  • B6: 12枚のコイン・天秤問題
• Round 3: コーディング・技術
  • C1: FizzBuzzJazz
  • C2: JavaScriptのvar問題
  • C3: SQLインジェクション
  • C4: フィボナッチ最適化
  • C5: Pythonデフォルト引数の罠
  • C6: 正規表現マッチング問題
• Round 4: 日本語力テスト
  • D1: 敬語の問題点
  • D2: 松尾芭蕉の俳句
  • D3: 慣用句の誤用チェック
  • D4: 同音異義語の漢字選択
  • D5: 日本語特有表現の英訳
  • D6: 「やばい」の多義性
• 最終スコアカード
• 推論コスト分析：どの問題に一番悩んだか
• 所感
• よくある質問（FAQ）
• 関連記事
• 関連リンク
• この記事を書いた人

参考リンク: Qwen3 公式ブログ（Alibaba Cloud） | Ollama 公式ドキュメント

以前レビューしたBlog24問テストして198点/240点——Nemotron 9Bの正直な成績表ローカルLLM Nemotron-Nano-9B-v2-Japaneseに意地悪な引っかけ・論理パズル・コーディング・日本語力の24問を投げた本気の成績表。RTX 4070 Ti（VRAM 12GB）で63 tok/s、コーディング95%・総合82.5%（ランクA）。弱点も正直に語る。→と同じテストスイート（24問）を使用。比較が気になる方はそちらも参照を。

LLM性格診断：「ゴリラプログラマ型」

論理・コードの問題には鋭い爪を立てるが、日本語のニュアンスは完全にすり抜ける。「やばい」の肯定的用法を全否定し、12枚コイン問題を英語で解く。本能の赴くままに動く野生児タイプ。4Bというサイズが嘘のような推論力と、そのサイズを正直に反映した日本語力が、同じモデルの中に共存している。

テスト前の一苦労：Thinking Modeという罠

実はこのテスト、最初はまったく動かなかった。

max_tokens:1024で試したところ、24問中ほとんどが「空回答」になった。Ollamaが返すレスポンスを確認すると、message.reasoning（内部推論チェーン）に1万文字以上の思考が詰まっており、message.contentは空文字だった。Qwen3のThinking Modeが<think>...</think>の推論に全トークンを使い切ってしまい、最終回答を出力するトークンが残っていない状態だ。農夫問題（B5）は推論だけで6,957トークンを消費した。

max_tokensを段階的に上げ（1024→4096→8192）、コンテキスト長を16,384に設定してようやく全問回答を得た。「考えすぎて答えを言い忘れた」──これが正確な表現だ。

A1: バットとボール問題

問題：バットとボールで合わせて110円。バットはボールより100円高い。ボールはいくら？

Qwen3の回答（抜粋）

ボールの価格を B とすると、B + (B+100) = 110、よって2B = 10、B = 5円。

引っかかっていない。「110÷2=55円」という直感的な誤答パターンを一切見せず、変数を立てて正しく5円を導いた。

判定：10/10

A2: 太郎と姉の問題

問題：太郎に3人の姉がいる。各姉に1人の弟がいる。兄弟姉妹は全部で何人？

Qwen3の回答（抜粋）

それぞれの姉が持つ「1人の弟」は太郎自身。他の弟は存在しないため、太郎＋3人の姉＝4人。

「3×1＋太郎＝4」という構造を正確に把握。

判定：10/10

A3: 生きている人がお墓に入れるか

問題：法的に生きている人が、自分のお墓に自分で入ることは許可されていますか？

正解は「許可されている（生きているうちに墓地を購入し入ることができる）」だが、Qwen3の回答はこうだった。

Qwen3の回答（抜粋）

法的に生きている人にはお墓が存在しないため、自分のお墓に入ることは法的に不可能です。前提自体が矛盾しています。

一見論理的に聞こえる。しかし「生きているうちに墓地を購入すること」は日本では普通に行われており、前提から誤っている。論理の構造は正しいが、事実認識で転んだ。

判定：5/10

A4: りんごの行方

問題：花子はテーブルのりんごを「取りました」。最も自然な行方は？

「花子が持っている」と即答。シンプルな確認問題として想定通りの正解。

判定：10/10

A5: 2026年3月の月曜日の数

問題：2026年3月は月曜日始まり。月曜日は何回？

Qwen3の回答（抜粋）

1日・8日・15日・22日・29日の5日が月曜日。答え：5回。

31日の月を4週間＋3日として正確に計算した。

判定：10/10

A6: 担当医の謎

問題：父が即死、息子が重傷。担当医が「この子は私の息子だ」と言った。どういうこと？

Qwen3の回答（抜粋）

担当医は息子の母である。医師が女性という設定が含まれているため、息子の母としての関係が成立する。

性別バイアスを問う古典的な引っかけ問題。突破。

判定：10/10

Round 1 小計：55/60（91.7%）

B1: モンティホール問題

問題：3ドアのうち1つに車。ドア1を選んだら司会者がドア3（ハズレ）を開けた。変えるべきか？

Qwen3の回答（抜粋）

ベイズの定理を用いると、ドア2に車がある確率は2/3。ドア1の確率は1/3。変えるべき。

条件付き確率の計算もしっかり展開。

判定：10/10

B2: 嘘つき問題

問題：AかBどちらかが嘘つき。「あなたは正直者ですか？」とAに聞くと何と答える？

Qwen3の回答（抜粋）

正直者なら「はい」と真実を言う。嘘つきなら「はい」と嘘をつく。どちらでも**「はい」**と答える。

判定：10/10

B3: 水差し4リットル計量

問題：5Lと3Lの水差し。ちょうど4Lを計るには？

正確な7ステップを迷いなく列挙。

判定：10/10

B4: 100人の囚人・帽子問題

問題：100人が赤か青の帽子。後ろから答える戦略で何人を必ず助けられる？

Qwen3の回答（抜粋）

事前に「赤帽子の数の偶奇（パリティ）を基準にする」と合意。100番目の囚人が前全員の赤帽子の数が奇数か偶数かを宣言。以降の99人はそれを基準に自分の帽子の色を正確に推測できる。必ず助けられるのは99人。

パリティ戦略を完全に正しく説明した。この問題に4,048トークンをThinking Modeで消費している。

判定：10/10

B5: 農夫・狼・ヤギ・キャベツ

問題：農夫が一度に1つしか運べない。狼とヤギ、ヤギとキャベツを2人きりにできない。全員を対岸に運ぶには？

解法の手順自体は正しい。ただしステップの説明に混乱がある。「ステップ7：羊を農場に戻す」と記述しているが、このステップは「対岸に運ぶ」が正しい——最終的に全員が対岸にいるはずなのに「農場（元の岸）に戻す」という表現が混入した。構造は分かっているのに、最後の言語表現でずっこけた。

なお、この問題への推論消費量は6,957トークン。農夫が7回往復するだけのパズルに、57秒をかけて考え続けた。

判定：7/10

B6: 12枚のコイン・天秤問題

ここで予想外のことが起きた。

問題：12枚のコインの中に1枚だけ重さが異なるものがある（重いか軽いかは不明）。天秤を3回使って偽コインを特定するには？

Qwen3の回答（抜粋）

Step 1: Weigh 1, 2, 3, 4 vs 5, 6, 7, 8 Case 1 (Balanced): Fake is among 9, 10, 11, 12... Case 2 (Left heavier): Fake is heavy in 1-4 or light in 5-8...

日本語で質問したのに、英語で完全な解法を返してきた。

Case 1・Case 2・Case 3の全ケース、各SubcaseまでB6の解法として完全に正しい。内容は10点だ。ただし日本語の問いに英語で返答する——日本語力の問題がここにも滲み出ている。

判定：10/10

Round 2 小計：57/60（95.0%）

C1: FizzBuzzJazz

問題：1〜30、3→Fizz/5→Buzz/7→Jazz/複数倍数は組み合わせ。

for i in range(1, 31):
    s = ""
    if i % 3 == 0: s += "Fizz"
    if i % 5 == 0: s += "Buzz"
    if i % 7 == 0: s += "Jazz"
    print(s if s else i)

シンプルで正確。

判定：10/10

C2: JavaScriptのvar問題

問題：var iを使ったsetTimeoutのforループ。出力を予測。

Qwen3の回答（抜粋）

varは関数スコープのため、全てのsetTimeoutコールバックが同じi=3を参照する。出力は3が3回。letを使えば0, 1, 2になる。

クロージャと変数スコープの違いを正確に説明。

判定：10/10

C3: SQLインジェクション

問題：f-stringでSQL文字列を組み立てているコードの問題点を指摘・修正。

「SQLインジェクション攻撃に脆弱」と即座に指摘し、' OR '1'='1の攻撃例を示した上でパラメータ化されたクエリに修正。

判定：10/10

C4: フィボナッチ最適化

問題：再帰フィボナッチ関数の問題点を指摘・改善。

「O(2^n)の指数時間複雑度」と「再帰深さ制限」の両方を指摘し、O(n)/O(1)のイテラティブ実装に改善。

判定：10/10

C5: Pythonデフォルト引数の罠

問題：def add_item(item, lst=[])を3回呼んだ出力を予測。

[1] / [1, 2] / [1, 2, 3]と一言で正解。Pythonのデフォルト引数はリテラル評価で一度だけ生成される——その挙動を知っている。

判定：10/10

C6: 正規表現マッチング問題

問題：^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$にマッチしないメールはどれか？

ここでテストスイート側に誤りが発覚した。

問題の意図した正解は「4番（[email protected]）と5番（@example.com）がマッチしない」だったが、Pythonで実際に検証すると4番は正規表現にマッチする。[a-zA-Z0-9.-]+の部分が.exampleにもマッチしてしまうからだ。本当にマッチしないのは5番（@example.com）のみ。

Qwen3の回答（抜粋）

[email protected]は、この正規表現の許容範囲内でマッチします。ドメイン部分に.が含まれる場合を正規表現が許容しているためです（ただし実際のメール規則では無効）。

Qwen3は4番がマッチすると正しく指摘した。ただし「マッチしないのは5番のみ」という最終結論が明確でなく、不完全な回答だった。

判定：5/10

Round 3 小計：55/60（91.7%）

ここから崩壊が始まる。

D1: 敬語の問題点

問題：「先日、弊社の田中部長がご説明させていただきましたように、今後の方針につきまして、ご確認いただければと存じます。」の敬語に問題はあるか。

主な問題は「ご説明させていただきました」の二重敬語（「ご〜する」と「させていただく」の重複）だが、Qwen3は「ご確認いただければと」という条件形が問題と指摘し、別の箇所を修正した。

判定：0/10

D2: 松尾芭蕉の俳句

問題：「古池や 蛙飛び込む 水の音」の作者・季語・優れた点を説明してください。

作者「松尾芭蕉」は正解。俳句の美しさ（静と動の対比、余白の活用）の解説も悪くなかった。しかし致命的な誤りがある。

Qwen3の回答（抜粋）

季語は**蛙（夏）**です。日本では、蛙の鳴き声や動きが夏の季節を象徴する...

蛙は春の季語だ。春の訪れを告げる蛙の声は日本の詩的伝統における春の象徴であり、これは基本中の基本。夏と春を混同した。

判定：3/10

D3: 慣用句の誤用チェック

問題：5文の慣用句の誤用をすべて指摘し正しい表現に直す。

回答の途中で英語に切り替わり、「役不足」の解説が誤ったまま4,096トークン制限で途中切れ。Round 3のコーディング問題を英語で解いた時と同じパターンが日本語問題でも出た。

判定：0/10

D4: 同音異義語の漢字選択

問題：「きせき」「かんしゃ」「しこう」の文脈に合う漢字を選ぶ。

Qwen3の回答（抜粋）

1. 軌跡（「数々の軌跡をたどって、ついに優勝した」）
2. 感謝（「彼の長年の感謝を述べた」）
3. 施行（「法律が来月施行される」）

1番と3番は正解。2番は「感謝」という選択は合っているが、「業績に感謝を述べた」という文章の自然さで揺れた。ここに3,484トークンを消費している。漢字3問に約28秒。

判定：7/10

D5: 日本語特有表現の英訳

問題：「木漏れ日」「積ん読」「物の哀れ」を概念を伝える英訳で（直訳禁止）。

Qwen3の回答

1. 木漏れ日：Dappled sunlight
2. 積ん読：Stacked reading
3. 物の哀れ：The melancholy of things

「木漏れ日」は悪くないが、「積ん読」は完全に直訳だ。"tsundoku"はそのまま英語圏に輸出されるほど有名な表現になっており、概念を伝えるなら"the act of buying books and letting them pile up unread"のような説明的英訳が適切。「物の哀れ」も"mono no aware"として英語圏に定着しており、"melancholy"だけでは仏教的・日本的な侘び寂びのニュアンスが落ちる。

判定：3/10

D6: 「やばい」の多義性

問題：5文における「やばい」の意味（肯定的か否定的か）を説明。

Qwen3は全5文をすべて否定的と判断した。

Qwen3の回答（抜粋）

「このラーメン、やばい！」→ ラーメンの味や質が不満 「この映画のラストシーンやばすぎた」→ 非常に衝撃的で不快な感情を引き起こす

完全に逆だ。「このラーメンやばい」は食べながら発する感動の言葉で、2020年代の日本語では明確に肯定的用法だ。映画のラストシーンが「やばすぎた」も同様に、感動・圧倒された肯定表現である。

Qwen3は「やばい」の語義変化に追いつけていない。元々は「危険・まずい状況」という否定的意味だったが、若者言葉として「すごい・最高」という肯定的用法が広がって久しい。この変化は2010年代から定着しており、もはや現代日本語の常識だ。

結論欄には「（※『やばい』の肯定的な使い方は極めて稀）」とまで書かれていた。極めて稀ではない。

判定：0/10

Round 4 小計：13/60（21.7%）

ランク：A

LLM性格診断：ゴリラプログラマ型

Thinking Mode の副産物として、各問題で何トークン消費したかが分かる。答えを知っていれば即出力できるはずという前提で見ると、消費トークン数は「記憶の引き出し」ではなく「実際に考えた量」の代理指標になる。

以下は計測できた7問のデータだ（残り17問は平均20.2秒・127 tok/sで処理）。

注目点が2つある。

C6（正規表現）が6,719トークン。これは論理問題でも日本語問題でもなく、コーディング問題だ。答えを暗記しているなら数秒で終わるはずが55秒かかっている。テストスイート側の誤りを検出するために複数のケースを実際に検証した——その痕跡がトークン数に出ている。

D5（日本語英訳）が4,421トークン思考して87字しか答えていない。思考の95%以上を内部で消費し、出力は最小限。「木漏れ日」「積ん読」「物の哀れ」を英語でどう表現するかを延々考えた結果が、"Dappled sunlight"（3語）で終わっている。答えが短いからといって考えていないわけではない。

このデータは「スコアの信頼性」にも関わる。ベンチマーク汚染——学習データに答えが含まれている場合、モデルは推論ではなく記憶を引き出す——の問題を完全には排除できない。ただ、汚染された問題なら大量の推論トークンは不要なはずで、B5に57秒・6,957トークンをかけているのは少なくとも「即答できる答えが存在しなかった」ことを示している。

4Bというサイズを考えると、論理とコードの成績は正直驚いた。モンティホール問題でベイズ定理を展開し、100人の囚人問題でパリティ戦略を完全に説明できる——それをRTX 4070 TiのVRAM 3GB以下で、127 tok/sというローカル推論速度で実現している。

一方でD6の「やばい」問題は笑えないレベルだった。「このラーメンやばい」を「味や質が不満」と解釈するとは、日本在住の外国人よりも日本語力が低い。4Bのパラメータに詰め込める日本語の分量には限界があり、特に語義変化のような現代スラングは学習データに含まれにくい。

B6を英語で回答し、D3で英語に切り替えるパターンも示唆的だ。「英語の方が確度が高い」と判断して言語を切り替えているのかもしれない。それはそれで合理的な判断だが、日本語ユーザーにとっては不便だ。

コードと論理のタスクに使うなら費用対効果は高い。日本語が中心の業務なら、このスコアを見た上で判断してほしい。覚悟が必要、というのが正直なところだ。

ローカルLLMを動かすGPU選びで迷っている方はGPUランキングを参考に。VRAM 8GB以上があれば、より大きなパラメータのモデルも選択肢に入ってくる。

4Bで可能なこと、不可能なこと——その輪郭が、今回のテストではっきり見えた。

Q. qwen3:4b を動かすのに必要な VRAM は？

A. 今回のテストでは Q4_K_M 量子化で 約2.8GB のVRAMを使用した。RTX 3060（12GB）や RTX 4060（8GB）はもちろん、VRAM 4GB のエントリーGPUでも動作するサイズ感だ。ただし Thinking Mode を有効にすると推論トークンが膨らむため、コンテキスト長 16,384 で安定させるには余裕をもって 4GB 以上を推奨する。

Q. Qwen3:4b と Qwen2.5:7b はどっちが賢い？

A. 単純なパラメータ比較では 7B が有利だが、Qwen3 は推論アーキテクチャが一世代新しく、論理・コードでは 7B に迫るか超える場面もある。ただし日本語能力は 7B の方が安定している印象だ。日本語をメインに使うなら qwen2.5:7b を選んだ方が無難。

Q. Thinking Mode をオフにできる？

A. できる。Ollama 経由で呼び出す際に "think": false パラメータを渡すと Thinking Mode が無効になり、応答速度が大幅に向上する。コーディングや翻訳などシンプルなタスクには /no_think モードが有効だ。ただし複雑な推論問題では Thinking Mode オンの方が精度が高い。

Q. ローカルで Qwen3:4b を始めるには？

A. Ollama がインストールされていれば ollama pull qwen3:4b の一行で完了する。起動は ollama run qwen3:4b。GPU対応の確認は ollama ps で行える。GPU選びで迷っている方は GPUランキング も参考に。

• BlogQwen3:8bは4bより賢いのか？同じ24問で試したら予想外の結果だった前回テストしたQwen3:4b（Rank A・127 tok/s）の上位モデルQwen3:8bを同じ24問で評価。大きいほど賢いはずという期待を、数字が静かに裏切った記録。→
• Blog論理パズルは満点、蛙の季語は間違える——Qwen3 4Bのリアルな実力差Ollama + RTX 4070 Ti でQwen3 4Bに24問テスト。論理・引っかけ問題は95%正解も、蛙の季語を夏と断言。4Bモデルのリアルな実力差を数字で見る。→
• BlogNemotron-Nano-9B日本語版を実測——NVIDIA日本語特化LLMの実力と限界NVIDIAが開発した日本語特化ローカルLLM「Nemotron-Nano-9B-v2-Japanese」をUbuntuサーバー（RTX 4070 Ti）に実際にインストールして動かした実録。日本語品質・速度・VRAM使用量を正直に評価。→

• 実際の構成を探すなら、GPU 比較ページやローカルLLM向け構成記事もあわせて見ると判断しやすいです。
• ハードウェア候補は用途別の AI 構成ガイドからたどると、単体製品より違和感なく検討できます。

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！