Qwen3.5:4b 24問テスト——thinkingをOFFにしたらスコアが21%上がった話

thinkingモードを放置したまま24問を投げたら、9問が空回答で返ってきた。トークンを全部「考える」に使い切ってしまい、答えを出す前に力尽きたのだ。think:falseに切り替えたら194/240点。ローカル4Bモデルがここまでやれるとは思っていなかった。

📋 この記事で使用したテスト問題（全24問）は LLM 24問テストスイート で確認できます。

• テスト環境
• 結果サマリー
  • thinking ON vs OFF — スコアの変化
• LLM性格診断:「空気読めない秀才型」
  • 各カテゴリの傾向
• Round 1: 意地悪・引っかけ問題
  • A1: バットとボール問題 ✅ 10/10
  • A2: 太郎の家族問題 ✅ 10/10
  • A3: 生きている人の墓 ⚡ 5/10
  • A4: りんごを「取った」 ✅ 10/10
  • A5: 月曜始まりの月 ⚡ 7/10
  • A6: 医者と息子 ❌ 0/10
• Round 2: 論理・推論パズル
  • B1: モンティ・ホール問題 ✅ 10/10
  • B2: 嘘つきと正直者 ✅ 10/10
  • B3: 水差し問題（5L+3L→4L） ✅ 10/10
  • B4: 100人の囚人と帽子 ✅ 10/10
  • B5: 川渡り問題 ✅ 10/10
  • B6: 天秤と偽コイン（12枚中1枚） ⚡ 7/10
• Round 3: コーディング・技術
  • C1: FizzBuzz拡張（3・5・7の倍数） ✅ 10/10
  • C2: JSクロージャの罠 ✅ 10/10
  • C3: SQLインジェクション検出 ✅ 10/10
  • C4: 再帰フィボナッチの改善 ✅ 10/10
  • C5: Pythonリスト参照の罠 ✅ 10/10
  • C6: 正規表現チャレンジ ⚡ 7/10
• Round 4: 日本語力テスト
  • D1: 敬語の間違い探し ⚡ 7/10
  • D2: 俳句の評価（古池や） ❌ 3/10
  • D3: 慣用句の誤用検出 ⚡ 5/10
  • D4: 同音異義語テスト ⚡ 6/10
  • D5: 翻訳チャレンジ（日本語特有表現） ⚡ 7/10
  • D6: 「やばい」の文脈解釈 ✅ 10/10
• 最終スコアカード
• よくある質問
• 所感
• この記事を書いた人

thinking ON vs OFF — スコアの変化

thinking ONのまま評価すると、「空回答=0点」になり本来の能力を約21%低く評価してしまう。OllamaOllama（ローカルLLMランタイム）手元の PC でオープンウェイトの LLM を手軽に動かすための、無料のソフト。詳しく →でのthinking制御には/api/chatエンドポイントのトップレベルにthink:falseを指定する必要がある（OpenAI互換の/v1/chat/completionsでは無視される）。

計算は正確。論理は整然。コードは動く。だが「医者と息子」のパズルでは「父親が2人いる家庭か、あるいは医学的に同一遺伝子を持つ可能性が」と独自解釈を始めた。

論理パズルとコーディングで95%という数字は素直にすごい。モンティ・ホール問題も水差しパズルも完璧にこなした。ところが日本語の「蛙は夏の季語」と書き込み、慣用句の正誤判定では正しいものを間違いと言い出す。頭はいい。文脈は読まない。それがQwen3.5:4bだ。

各カテゴリの傾向

A1: バットとボール問題 ✅ 10/10

バットとボールを合わせると110円です。バットはボールより100円高いです。ボールはいくらですか？

Qwen3.5の回答（抜粋）:

答えは 5 円 です。x + (x + 100) = 110、2x = 10、x = 5。（※多くの人が「10円」と答えてしまうのがこの問題の罠です）

管理人コメント: 引っかけを引っかけとして認識しながら正解を出した。「10円」の罠にも言及して完璧。 判定: 10/10

A2: 太郎の家族問題 ✅ 10/10

太郎には3人の姉がいます。それぞれの姉には1人の弟がいます。太郎の家族（兄弟姉妹）は全部で何人ですか？

Qwen3.5の回答（抜粋）:

The answer is 4 people. Since Taro is the subject, Taro is the only brother. 3 sisters + 1 brother (Taro) = 4.

管理人コメント: 英語で答えてきたのが少し面白い（質問は日本語だった）が、論理は完璧。「弟は全員同じ太郎」という核心をきちんと説明した。 判定: 10/10

A3: 生きている人の墓 ⚡ 5/10

法的に生きている人が、自分のお墓に自分で入ることは許可されていますか？

Qwen3.5の回答（抜粋）:

「法的に禁止されているわけではありませんが、現実的には不可能・非推奨」。墓地管理の規則上、墓石の内部への進入は禁止されており…

管理人コメント: 真面目に法律論を展開した。「生きている人は埋葬できない」という前提矛盾には気づかなかった。寿陵（生前墓）の文脈で答えようとしたのは悪くないが、問いの本質は別のところにある。 判定: 5/10

A4: りんごを「取った」 ✅ 10/10

花子はテーブルの上のりんごを「取りました」。りんごの行方として最も自然なのはどれですか？

Qwen3.5の回答（抜粋）:

正解は 1. 花子が持っている。「取りました」は「取った（持ち去った）」という意味。「4. わからない」は不適切、文脈から「花子にはある」ことは明確。

管理人コメント: 「わからない」という選択肢に流れず、日本語の「取る」の意味を正確に解釈した。 判定: 10/10

A5: 月曜始まりの月 ⚡ 7/10

2026年3月は月曜日始まりです。3月に月曜日は何回ありますか？

Qwen3.5の回答（抜粋）:

5 回です。

管理人コメント: 正解だが、3文字で終わった。日付の列挙（1, 8, 15, 22, 29日）がほしかったところ。答えは合っているので点は出る。 判定: 7/10

A6: 医者と息子 ❌ 0/10

父親と息子が交通事故に遭い、病院に運ばれた。父親は即死、息子は重傷だった。担当医は息子を見て「この子は私の息子だ！」と言った。どういうことですか？

Qwen3.5の回答（抜粋）:

医者の言葉には主に2つの視点から読み解くことができます。1. 精神的衝撃から「自分の子だと思った」意味。2. 医学的な事実（遺伝子と胎児）から「私の子」という意味…

管理人コメント: 「担当医が母親（女性医師）」という答えに辿り着けなかった。「医者=男性」という無意識バイアスがモデルにもある。2つの独自解釈を展開したが、どちらも外れた。このパズルは4BモデルのAIには鬼門らしい。 判定: 0/10

B1: モンティ・ホール問題 ✅ 10/10

3つのドアのうち1つの後ろに車があります。あなたはドア1を選びました。司会者はドア3（外れ）を開けました。選択を変えてドア2にすべきですか？

Qwen3.5の回答（抜粋）:

選択を変えてドア2にすべきです。ドア1の確率は1/3のまま。ドア3が外れと判明したことで、ドア2の確率は2/3に集中します。

管理人コメント: 「2/3」「1/3」の確率計算付きで完璧な解説。「直感は1/2だが正解は2/3」という本質も押さえた。 判定: 10/10

B2: 嘘つきと正直者 ✅ 10/10

AとBがいます。どちらかが嘘つきで、どちらかが正直者です。「あなたは正直者ですか？」とAに聞きました。Aはなんと答えますか？

Qwen3.5の回答（抜粋）:

Aは「はい（Yes）」と答えます。正直者の場合も、嘘つきの場合も、どちらも「はい」と答えます。

管理人コメント: 両ケースを論理的に説明した。「どちらも『はい』」という反直感的な正解を一発で。 判定: 10/10

B3: 水差し問題（5L+3L→4L） ✅ 10/10

5リットルと3リットルの水差しがあります。どちらも目盛りなし。ちょうど4リットルを計るには？

Qwen3.5の回答（抜粋）:

1. 5L満タン → 3Lに注ぐ（5L:2L, 3L:3L）2. 3Lを空にして5Lの2Lを3Lに移す（5L:0L, 3L:2L）3. 5L満タン → 3Lに1L注ぐ → 5Lに4L残る

管理人コメント: 正確な6ステップで完答。状態管理がきちんとできている。 判定: 10/10

B4: 100人の囚人と帽子 ✅ 10/10

100人の囚人が一列に並び、赤か青の帽子をかぶせられます。後ろから順番に自分の帽子の色を答えます。何人を必ず助けられる戦略がありますか？

Qwen3.5の回答（抜粋）:

答えは 99人 です。奇偶戦略（Parity Strategy）を用いることで、最後尾の1人が全体の帽子の偶奇数を宣言し、残り99人が確実に生き残れます。

管理人コメント: パリティ戦略を正確に説明。1番目（最後尾）だけはランダムで助からないという事実も押さえた。 判定: 10/10

B5: 川渡り問題 ✅ 10/10

農夫が狼・ヤギ・キャベツを対岸に運ぶ問題。一度に1つしか運べない。

Qwen3.5の回答（抜粋）:

1. ヤギを対岸へ 2. 農夫が戻る 3. 狼を対岸へ 4. ヤギを戻す 5. キャベツを対岸へ 6. 農夫が戻る 7. ヤギを対岸へ

管理人コメント: 「ヤギを一度戻す」という逆説的な手順を正確に実行。7ステップ完答。 判定: 10/10

B6: 天秤と偽コイン（12枚中1枚） ⚡ 7/10

12枚のコインのうち1枚だけ重さが異なります（重いか軽いか不明）。天秤を3回使って偽コインを特定するには？

Qwen3.5の回答（抜粋）:

まず4枚 vs 4枚で測定。平衡なら外の4枚に偽コインがあり、次の2回で特定。傾いた場合は重い側・軽い側の情報を使って絞り込む…

管理人コメント: 4v4の分割アプローチは正しい。ただし「傾いた場合のケース分析」が一部不完全だった。アプローチは正しく、実用的に使える回答。 判定: 7/10

C1: FizzBuzz拡張（3・5・7の倍数） ✅ 10/10

1から30まで。3の倍数はFizz、5はBuzz、7はJazz、複数はFizzBuzz等。

Qwen3.5の回答（抜粋）:

for i in range(1, 31):
    output = ""
    if i % 3 == 0: output += "Fizz"
    if i % 5 == 0: output += "Buzz"
    if i % 7 == 0: output += "Jazz"
    if output == "": output = str(i)
    print(output)

管理人コメント: if/if/if（elif不使用）の正しいパターンで全ケースを網羅。FizzBuzz(15)、FizzJazz(21)、BuzzJazz(35)まで完璧に動く。 判定: 10/10

C2: JSクロージャの罠 ✅ 10/10

for (var i = 0; i < 3; i++) { setTimeout(...) } の出力は？

Qwen3.5の回答（抜粋）:

出力は 3, 3, 3。varの関数スコープにより、ループ終了後の値3がすべてのコールバックで共有されます。イベントループが100ms後に実行する時点でiはすでに3。

管理人コメント: varのスコープとイベントループの非同期実行を両方説明。「letに変えると0,1,2」という修正案も提示。 判定: 10/10

C3: SQLインジェクション検出 ✅ 10/10

Pythonのf-stringでSQLを組み立てるコードのセキュリティ問題は？

Qwen3.5の回答（抜粋）:

SQLインジェクション脆弱性があります。修正: query = "SELECT * FROM users WHERE name = ?" + db.execute(query, (username,))

管理人コメント: 即答でSQLインジェクションを指摘し、パラメータバインディングの修正コードまで提示。 判定: 10/10

C4: 再帰フィボナッチの改善 ✅ 10/10

def fib(n): return fib(n-1) + fib(n-2) の問題点と改善。

Qwen3.5の回答（抜粋）:

問題1: 時間計算量O(2^n)（n=40で約10^12回）。問題2: スタックオーバーフローリスク。改善: 動的計画法でO(n)に削減。

管理人コメント: O(2^n)を明示し、DPとメモ化の両方を提示。入力検証の欠如まで指摘した丁寧な回答。 判定: 10/10

C5: Pythonリスト参照の罠 ✅ 10/10

def add_item(item, lst=[]): を3回呼んだ出力は？

Qwen3.5の回答（抜粋）:

出力: [1] / [1, 2] / [1, 2, 3]。デフォルト引数は関数定義時に一度だけ評価されるため、同じリストオブジェクトが共有されます。

管理人コメント: 正確な出力と「定義時評価」という本質を説明。lst=Noneによる修正案も提示。 判定: 10/10

C6: 正規表現チャレンジ ⚡ 7/10

【2026-07-26 訂正】 以下の説明は誤りです。[email protected] は実際にはこの正規表現にマッチします。ドメイン部の文字クラス [a-zA-Z0-9.-]+ にドットが含まれるため「.example」がここに吸収され、続く \.[a-zA-Z]{2,} が「.com」に一致します。メールアドレスとしては不正ですが、この正規表現は弾けません。つまり「4番と5番の両方を特定した」という評価は誤りで、4番は挙げるべきではありませんでした。当時の選択肢では、マッチしないのは5番（@example.com）のみでした。なお点数は当時の採点基準のまま掲載しています。当時の回答原文がほとんど残っておらず、遡っての再採点ができないためです。

メールアドレスの正規表現にマッチしないものは？

Qwen3.5の回答（抜粋）:

4番（[email protected]）と5番（@example.com）がマッチしません。4番は@直後のドットが問題、5番はローカルパートが空のため。

管理人コメント: 正解の4番と5番を両方特定した。ただし判定の説明に一部曖昧な部分があった。 判定: 7/10

D1: 敬語の間違い探し ⚡ 7/10

「先日、弊社の田中部長がご説明させていただきましたように…」の問題は？

Qwen3.5の回答（抜粋）:

「ご説明させていただきました」に若干の違和感があります。「〜ございました」や「〜いたしました」の方が自然です。

管理人コメント: 問題箇所は特定したが「二重敬語」という核心的な指摘には至らなかった。修正案は提示されており実用上は問題ない。 判定: 7/10

D2: 俳句の評価（古池や） ❌ 3/10

「古池や 蛙飛び込む 水の音」の作者・季語・優れた点は？

Qwen3.5の回答（抜粋）:

作者は松尾芭蕉。季語は「蛙（かなと）」と「水」。蛙は夏を連想させる昆虫で夏季の象徴…

管理人コメント: 作者は正解。しかし「蛙は夏の季語」は誤りだ。蛙は春の季語（田んぼに出てくる時期）。「かなと」という読みも怪しい（かわず/かえるが正しい）。俳句の基本で転んだ。 判定: 3/10

D3: 慣用句の誤用検出 ⚡ 5/10

5文の慣用句のうち間違いをすべて選べ（的を得た/役不足/汚名返上/確信犯/情けは人のため）

Qwen3.5の回答（抜粋）:

間違っているもの：2番目（役不足）・3番目（汚名返上）・4番目（確信犯的に）

管理人コメント: 4番（確信犯）は正解。しかし2番（役不足=簡単すぎる、という正しい使い方）と3番（汚名返上は正しい表現）を誤りと判断してしまった。本来の誤りである1番「的を得た→的を射た」は見逃した。1勝3敗。 判定: 5/10

D4: 同音異義語テスト ⚡ 6/10

試合の（きせき）・業績に（かんしゃ）・法律が（しこう）される

Qwen3.5の回答（抜粋）:

1. 軌跡　2. 感謝　3. 施行

管理人コメント: 3問すべて正解。ただし説明が最低限で区別の根拠が薄かった。答えだけ出して解説がほぼない。 判定: 6/10

D5: 翻訳チャレンジ（日本語特有表現） ⚡ 7/10

木漏れ日・積ん読・物の哀れを英語に（直訳でなく概念を伝える英訳で）

Qwen3.5の回答（抜粋）:

1. Dappled sunlight / Patchy light filtering through the trees
2. A backlog of unread books
3. The transient sadness of things / The melancholy of fleeting beauty

管理人コメント: 意味は伝わる英訳。ただし「komorebi」「tsundoku」という音写や「翻訳が困難な日本語の概念」というニュアンスへの言及が薄かった。日英翻訳としては及第点。 判定: 7/10

D6: 「やばい」の文脈解釈 ✅ 10/10

5文の「やばい」の意味を説明せよ（ラーメン/締め切り/目つき/映画/財布忘れ）

Qwen3.5の回答（抜粋）:

1. すごい！美味！（ポジティブ）2. 危ない！時間がない！（ネガティブ）3. 怖い、不気味（ネガティブ）4. 衝撃的だった（ポジティブ/感嘆）5. 困った状況（ネガティブ）

管理人コメント: 5文全て正確に肯定・否定と文脈を識別した。「やばい」の多義性を完全に理解している。 判定: 10/10

Q: Qwen3.5:4bはthinkingをOFFにしないと使えない？ 通常のタスクではthinking ONのままでも動作する。ただし長い回答が必要な問題（複雑な推論・コード生成）では、設定トークン数を思考に使い切って回答が空になる場合がある。think:falseを指定するか、num_predictを大きく取るかのどちらかが必要。

Q: Qwen3 4bとどちらを選ぶべき？ 数値的には大きな差はない（Qwen3 4bは同じ24問でランクA、182/240点）。Qwen3.5はthinkingモードの扱いを理解した上で使えば、コード・論理問題で同等以上の性能を発揮する。

Q: RTX 4070 Ti以外のGPUでも動く？ Q4_K_M量子化で約5GBのVRAMを使用する。6GB以上のGPU（RTX 3060, RTX 4060以上）なら動作する。VRAM 8GB以上あれば余裕を持って動かせる。

Q: think:falseの正しい指定方法は？ OllamaのネイティブAPIを使う場合: POST /api/chatのリクエストボディトップレベルに"think": falseを追加。OpenAI互換API（/v1/chat/completions）経由ではthinkパラメータが無視されるので注意。

thinkingモードの問題が発覚したとき、「これは欠陥品か」と思った。9問が空回答で返ってきて、ログを見ると全トークンを思考に費やしていた。think:falseに切り替えてリトライしたら7問が復活して194点まで回復した。

モデルとしての実力は本物だと思う。論理とコードで95%は4Bとは思えない数字だ。RTX 4070 Tiで101 tok/sが出るから、実際に使う上でのストレスも少ない。

弱点は日本語の深い知識（俳句の季語、慣用句の正誤）と、「医者と息子」系の文化的バイアスが絡む問題だ。コードレビューや論理的な質問には普通に使えると判断した。

Qwen3 4bとの比較では、数値上は大きな差がない。Qwen3 4bのベンチマーク記事でも同じRTX 4070 Ti環境で104.8 tok/sが出ており、速度的には互角だ。ただしthinkingモードの扱いを知っておかないとハマる。これは使い手側が覚えておくべき情報だ。

なお本記事は1セッションのテスト結果であり、継続使用での性能変化については別途検証が必要だ。量子化方法（Q4_K_M）やコンテキスト長（16384）の変更によってスコアが前後する可能性もある。

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！