ローカル最高80% vs クラウド93%——20点差が示す、規模の残酷な現実

TL;DR: GPT-5.4 mini は24問中92.9%（ランクS）、nano は79.2%（ランクA）。 ローカル最高のQwen3.5:4bは80.8%。20点差は本物か、学習済みの差か——両方正直に書きます。

📋 この記事で使用したテスト問題（全24問）は LLM 24問テストスイート で確認できます。

• テスト環境と方法
• GPT-5.4 mini の結果：223/240（92.9%）ランクS
• GPT-5.4 nano の結果：190/240（79.2%）ランクA
• ローカルLLMとの横断比較
• 93%という数字を、そのまま信じていいか
• それでも、安くて品質が高い
• よくある質問
• まとめ
• この記事を書いた人
• 関連記事

クラウド側（GPT-5.4 mini / nano）

ローカル側（過去ベンチマーク）

テストスイートは共通。A（意地悪問題）・B（論理）・C（コード）・D（日本語）各6問、計24問。各問 0〜10点で採点、満点は240点です。

過去の全結果は「BlogQwen3.5:4b 24問テスト——thinkingをOFFにしたらスコアが21%上がった話Qwen3.5:4bをOllama上でベンチマーク。thinkingモードが原因で9問が空回答になった。think:falseに切り替えたらスコアが194/240（80.8%）に回復。RTX 4070 Tiで101.5 tok/s出る4Bモデルの実力を24問で徹底検証。→」でまとめています。

初めて「ランクS」が出ました。240点満点で93%近いスコアは、このシリーズで最高です。ランクの定義はS（90%以上）・A（75〜89%）・B（60〜74%）・C（45〜59%）・D（45%未満）です。

注目は B と C の安定感です。モンティ・ホール問題、100人の囚人と帽子のパリティ戦略、SQLインジェクションの検出と修正——すべて正確でした。think トークン（reasoning トレース）を毎問消費しており、応答速度は 167.7 tok/s。43秒で24問を完走しました。

24問あたりの API 料金は約 ¥2（出力 7,329 トークン、OpenRouter 経由）。

Qwen3.5:4b（80.8%）と比べると、ほぼ同等です。ただしこちらは API 課金で、24問あたり約 ¥1 以下（出力 7,501 トークン）。

B4（囚人の帽子問題）の0点は意外でした。「50人」という答えは問題の構造を正確に把握できていない。この問題は解説記事が多く、mini は正解していたので、モデル規模の差が出た場所だと思います。

医者と息子の問題では「別居していた医師が顔で気づいた」という独自解釈を展開しました。なかなか読んだことのない別居解消の経緯でした。

単純に比べれば、クラウドのほうが20点高い。それが今の現実です。

電気代を計算してみたら、RTX 4070 Ti でのローカル推論は24問あたり ¥0.2〜0.5 でした。API の nano（¥1）より安い。GPU購入費を除けば、の話ですが。

「ローカル無料 vs クラウド有料」という構図は、電気代単体ではすでに逆転しています。ただし GPU 購入費（10万円前後）を回収するには膨大な使用量が必要で、ライトユースなら API のほうがトータルで安い——というのが正直なところです。

ここは正直に書きます。

このテストスイートの問題は、ウェブ上に大量に存在する定番問題です。

• モンティ・ホール問題 → Wikipedia に解説がある
• 川渡り問題 → 中学受験の定番
• FizzBuzz → プログラミング入門の代名詞
• SQLインジェクション → セキュリティ教科書の例題
• mutableデフォルト引数 → Python の有名なアンチパターン

GPT-5.4 mini がこれらを「推論で解いた」のか「学習データから再現した」のかは、外部から判断できません。数百億パラメータ規模のモデルが、これらの問題を記憶している可能性は十分あります。

同じことはローカルモデルにも言えます。ただし、モデルが大きいほど学習データの量と質が上がるため、「記憶の確実な再現」という意味でも大規模モデルが有利になります。

「推論力」ではなく「引き出しの深さと精度」を測っている——そう理解した上で、このスコアを読むのが正しいと思っています。

今後のベンチマーク改訂では、変形問題（コインの枚数を変える、FizzBuzzの倍数を変えるなど）を取り入れる予定です。

限界を書いた上で言います。

GPT-5.4 mini は今のところ日本語でもっともコスパの良いクラウドLLMの一つです。24問 ¥2 という料金、93%近いスコア、400Kコンテキスト——この組み合わせはローカルでは現時点で出せない。

nano は mini より15ポイント低いですが、分���・データ抽出・定型文生成なら十分な性能です。¥1以下という料金は、大量処理のパイプラインで活きてきます。

ローカルを選ぶ理由がなくなった、とまでは思いません。プライバシー・コスト構造・オフライン動作——ローカルには固有の価値があります。ただ「ローカルのほうが賢い」という時代は、少なくともパラメータ規模が互角になるまで来ないでしょう。

Q. GPT-5.4 mini はローカルLLMより本当に賢いのか？

このベンチマークでは93% vs 80%で20点差があります。ただしテストスイートに定番問題が多く含まれるため、「推論力」ではなく「引き出しの深さと精度」の比較である点に注意が必要です。変形問題を用いた次世代テストスイートを準備中です。

Q. nano と mini はどう使い分けるべきか？

分類・要約・定型文生成など判断が比較的シンプルなタスクには nano（¥1/24問以下）を、複雑な推論・コード生成・多段論理が必要なタスクには mini（¥2/24問）を推奨します。コスト差は2倍ですが、スコア差は13ポイント（93% vs 79%）です。

Q. ローカルLLMをやめてAPIに一本化すべきか？

用途次第です。プライバシー重視・オフライン動作が必要・大量推論でGPUコストが回収できるケースではローカルの優位性が残ります。一方、ライトユース（月数百回程度）ならAPI料金はほぼ無視できる水準で、トータルコストは API が有利なことが多いでしょう。

• GPT-5.4 mini: 223/240（92.9%）ランクS。24問 ¥2。このベンチマークシリーズ最高スコア
• GPT-5.4 nano: 190/240（79.2%）ランクA。24問 ¥1以下。ローカル4bクラスと同等
• ローカル最高峰 Qwen3.5:4b は 80.8%。電気代 ¥0.2・GPU代別
• スコアの限界：定番問題は学習済みの可能性がある。純粋な推論力の指標ではない

API を使っている方は mini を一度試す価値があります。nano は大量処理のサブエージェントとして面白い選択肢です。

過去のローカルLLMベンチマーク記録は「Blog14Bで175点・ランクB——phi4:14bに24問ぶつけた正直な結果phi4:14bに24問テスト。175/240点（72.9%）ランクB。蛙の季語は正解できたが汚名返上をSwallowと同じく誤用と断言した。4.2 tok/s・VRAM 8.3GB使用の詳細な結果を公開。→」「BlogQwen3.5:4b 24問テスト——thinkingをOFFにしたらスコアが21%上がった話Qwen3.5:4bをOllama上でベンチマーク。thinkingモードが原因で9問が空回答になった。think:falseに切り替えたらスコアが194/240（80.8%）に回復。RTX 4070 Tiで101.5 tok/s出る4Bモデルの実力を24問で徹底検証。→」にまとめています。

モデルの性能曲線を見ている��、年々「これは純粋に楽しめるラインを超えている」と思う瞬間が増えています。¥2で93%というのも、そういう数字のひとつです。仕事に使うしかない、とは思いつつ——少し息苦しい。

この記事はZennにもクロスポストしています → ¥2で93%、電気代¥0.2で80%——GPT-5.4 mini/nano を同じ24問にぶつけた結果

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！

• BlogCodex CLI 0.112.0→0.114.0 で権限設計が変わった。request_permissions が実務で効く理由Codex CLI 0.112.0から0.114.0で、権限要求の設計が段階的に進化。request_permissions、plugin拡張、承認フロー修正が実務でどう効くかを整理します。→
• Blog「effortは高いほど良い」は間違い。GPT-5.5の5段階を実務で使い分ける判断基準GPT-5.5のreasoning.effortパラメータ（none〜xhigh）の選び方を実務翻訳。Responses APIとChat Completions APIの書き方の違い、思考過多トラップの回避、タスク別の判断フローを整理します。→
• BlogGPT-5.6 Sol×Terra、コスパ最強のEffort組み合わせは？実測で検証GPT-5.6 Sol（設計・計画役）とTerra（コーディング実装役）を組み合わせて使う際、どのreasoning effortが最もコスパが良いかをArtificial Analysisの実測データで検証。Solはhighで頭打ち、Terraはhighまで気軽に上げてよい理由を出典付きチャートで確認します。→