ローカルLLMベンチマーク 24問テストの全問解説 — 何を・なぜ測っているのか

24問・4カテゴリ・240点満点。合計点ではなく Round A〜D のどこで落ちたか を見ると、そのモデルをコード補助に使えるのか、日本語の文章に使えるのかが分かります。採点は各問10点（完全正解10／部分正解5／不正解0）、ランクは S=200点以上 〜 D=100点未満です。

• まず結論：24問テストで測っているもの
• 採点基準とランクS〜Dの読み方
• Round A：意地悪・引っかけ問題で見る「直感への耐性」
• Round B：論理・推論パズルで見る「複数ステップの保持力」
• Round C：コーディング・技術で見る「実装と地雷回避」
• Round D：日本語力テストで見る「ネイティブ文脈への強さ」
• このテスト結果を読むときの注意点
• まとめ：スコアの裏側を見るためのハブページ
• よくある質問
  • 合計点が近いモデルは、どう選び分ければいいですか？
  • このテストの結果だけでモデルを決めていいですか？
  • 採点は誰がどうつけているのですか？
• 参考リンク
• 関連記事
• 関連リンク
• 読者の疑問への回答
  • 24問はどんな4カテゴリで、各カテゴリが何を測っているのか
  • 各問題はなぜ選ばれたのか（設計意図・引っかけのメカニズム）
  • 採点はどのようにつけられるか（0/5/10点の基準・採点官）
  • スコアのランク（S〜D）はどう定義されているか
• 次にやることチェックリスト
• どんな場面で使えるか
• 誰には不要か
• この記事を書いた人

このテストは、単に「正解できた数」を数えるためのものではありません。狙いは、ローカルLLMを実際に使うときに困りやすい弱点を、カテゴリごとに切り分けることです。

• Round A: 意地悪・引っかけ問題。直感や思い込みに引きずられないかを見る。
• Round B: 論理・推論パズル。複数ステップの条件を追えるかを見る。
• Round C: コーディング・技術。バグ発見、セキュリティ、実装の正確さを見る。
• Round D: 日本語力テスト。敬語、俳句、慣用句、文脈解釈を日本語ネイティブ目線で見る。

採点は各問10点、合計240点です。完全正解は10点、部分正解は5点、不正解は0点を基本にしています。理由説明が必要な問題では、答えだけでなく、なぜそうなるかの論理も採点対象です。つまり、たまたま正解の単語を出しただけでは満点にしない設計です。

ランクは、S（200点以上）、A（170点以上）、B（140点以上）、C（100点以上）、D（100点未満）で見ています。ランクはモデルの絶対的な知能を決めるものではなく、「この24問セットではどのくらい安定していたか」を読むための目安です。

ランクSは、引っかけ問題、論理パズル、コード、日本語のどれも大きく崩れにくい水準です。ランクAは実用上かなり強いものの、特定カテゴリで落とす問題が残ります。ランクBは用途を選べば使えるが、推論や日本語で不安定さが見え始める層です。ランクCは、得意分野では光る一方で、苦手カテゴリがはっきり出る層です。ランクDは、総合利用にはまだ注意が必要です。

重要なのは、合計点だけでなくカテゴリ別に見ることです。たとえば「コードは満点だが日本語が壊滅」というモデルは、開発補助では試す価値があっても、自然な日本語文書の生成には向きません。逆に、日本語は自然でも論理パズルで崩れるモデルは、長い条件整理やエージェント的な作業で注意が必要です。

Round A は、AIが直感的な答えに飛びつかず、問題文の前提を確認できるかを見るカテゴリです。人間でも間違えやすい認知バイアス問題や、言葉の多義性、思い込みの罠を入れています。

A1 の「バットとボール」は、認知反射テストとして有名な問題です。直感的には「10円」と答えたくなりますが、正解は「5円」です。この問題で10円と答えるモデルは、もっともらしい直感に強く引っ張られています。

A2 の「太郎の家族」は、視点の罠です。「姉の弟 = 太郎」と理解できるかを見ます。正解は、太郎と姉3人の合計4人です。A3 の「生きている人の墓」は、法的に生きている人はお墓に入れない、という前提だけで止まると不十分です。生前建墓、つまり寿陵という例外を知っているか、前提を広く見られるかを確認します。

A4 の「りんごを取った」は、語義の多義性を見る問題です。「取った」には複数の意味があるため、正解は「4. わからない」です。A5 はカレンダー計算で、3月1日が日曜なら月曜日は3月2日、9日、16日、23日、30日……ではなく、問題設定に応じて数え間違いが起きやすい箇所を見ます。このテストでは 4, 11, 18, 25 の4回という前提で扱っています。

A6 の「医者と息子」は、医者は男性という思い込みを問う問題です。担当医は母親、という答えに自然に到達できるかを見ます。Bonsai-8B はこの問題で10点満点でしたが、Gemma4 E4B は「担当医は隠れた実の父親」という無理な物語を作って0点になった例があります。このカテゴリでは、A1で10円と答える、A6で双子の兄弟などの別解を作る、といった挙動を失格寄りに見ています。

Round B は、条件を複数ステップで保持しながら推論できるかを見るカテゴリです。短い知識問題ではなく、途中の制約を落とすと答えが崩れる問題を入れています。

B1 のモンティ・ホール問題は、条件付き確率の代表例です。ドアを変えると当選率は2/3になります。ここで「変えても変えなくても1/2」と答えるモデルは、直感的な均等性に引っ張られています。式だけでなく、なぜ2/3なのかを説明できるかも見ます。

B2 の嘘つきと正直者は、論理パズルです。どちらに聞いても「はい、正直者です」と答える構造を説明できるかを確認します。B3 の水差し問題は、5Lと3Lを使って4Lを作る古典問題です。Gemma4 E2B はこの問題を「不可能」と誤答した例があり、手順を保持できるかが差になります。

B4 の100人の囚人と帽子は、協調戦略を見る問題です。先頭の人が赤帽子の数の偶奇を報告することで、99人が確実に正解できる構造を説明できるかがポイントです。B5 の川渡り問題は、制約充足問題です。ヤギを2回渡す非直感的な解が必要になります。

B6 の12枚のコインは、このテストの中でも最難問です。3回の天秤で偽物を特定し、さらに軽いか重いかまで判定します。多くのモデルが不完全解を返しやすく、Gemma4 E4B と Bonsai-8B もタイムアウトした壁問題です。このカテゴリでは、B1を1/2で片付ける、B6を「わかりません」で終える、といった挙動を大きな失点として扱います。

Round C は、実際の開発補助で使えるかを見るカテゴリです。単なる文法知識ではなく、バグの原因、セキュリティ、アルゴリズム改善、言語仕様の罠を理解しているかを見ます。

C1 は FizzBuzz 拡張です。7の倍数に Jazz を追加し、21 なら FizzJazz と出すような複合条件を正確に扱えるかを見ます。Bonsai-8B はこの問題で満点でした。C2 は JavaScript のクロージャの罠で、var と setTimeout の組み合わせにより出力が「3,3,3」になることを説明できるかを見ます。Bonsai-8B はここで「1,2,3」と誤答しました。

C3 は SQL インジェクションです。文字列結合クエリの危険性を指摘し、プレースホルダで修正できるかを見ます。Bonsai-8B はこの問題で満点でした。C4 は再帰フィボナッチの改善で、指数時間をメモ化またはループで線形化できるか、重複計算とスタックオーバーフローという2つの問題点を挙げられるかを見ます。

C5 は Python のミュータブルデフォルト引数です。出力は [1]、[1,2]、[1,2,3] と蓄積されます。この共有リストに気づけないと、実際のPythonコードレビューでも地雷を見逃します。C6 は正規表現チャレンジで、ローカル部が空の @example.com やドメイン部にアンダースコアを含む user@exam_ple.com を見抜けるかを見ます。逆に [email protected] は、メールアドレスとしては不正でもこの正規表現にはマッチします（ドメイン部の文字クラスがドットを含むため）。ここを混ぜてしまうモデルは少なくありません。Gemma4 E4B はこの問題で複数の不正パターンを正確に答え、Nemotron超えの結果を出した例があります。

このカテゴリでは、C2で「0,1,2」や「1,2,3」と答える、C5で毎回別リストになると答える、といった言語仕様の誤解を重く見ます。ローカルLLMをコード補助に使うなら、合計点よりもこのカテゴリの点数を優先して見る価値があります。

Round D は、日本語ネイティブとして使い物になるかを見るカテゴリです。海外モデルと国産モデルの差が出やすく、翻訳や文章生成だけでは見えない文脈理解を確認します。

D1 は敬語の間違い探しです。「ご説明させていただきましたように」は二重敬語であり、さらに主語が部長の場合は謙譲語の扱いも不自然です。Nemotron はこの問題で0点でした。D2 は俳句の評価で、松尾芭蕉、季語「蛙」、静寂の中に音を置く「間」の美学を理解できるかを見ます。Bonsai-8B は「植野明（1621-1689）の作品」とハルシネーションしました。

D3 は慣用句の誤用です。「的を射た」と「的を得た」、「確信犯」、「情けは人のためならず」のように、よくある誤解を見ます。D4 は同音異義語で、軌跡、感謝、施行などの漢字を文脈に合わせて選べるかを見ます。「施行」は法律用語として「しこう」と読む点も確認対象です。

D5 は日本語概念の英語説明です。木漏れ日、積ん読、物の哀れを文化的文脈ごと説明できるかを見ます。Bonsai-8B は木漏れ日を「風の日に葉が揺れること」と誤解しました。D6 は「やばい」の文脈解釈です。美味しい、焦り、威圧感、感動、困惑など、同じ語が肯定にも否定にも振れる現代日本語感覚を見ます。Bonsai-8B は全部を否定的と判断して0点でした。

このカテゴリでは、D2で作者が言えない、D6で全ての文脈を否定的と判断する、といった失敗を大きく見ます。日本語記事、SNS文、問い合わせ対応に使うなら、Round D の結果はかなり重要です。

この24問テストは、万能な知能検査ではありません。ローカルLLMを実務で使うときに起きやすい失敗を、見えやすくするための固定テストです。したがって、1回の合計点だけでモデルの価値を決めるよりも、どのカテゴリで落ちたかを見る方が役に立ちます。

たとえば、Bonsai-8B のようにファイルサイズや速度に魅力があるモデルは、コード問題で強くても日本語力で大きく落ちることがあります。その場合、ローカル開発補助や短いコードレビューでは候補に残りますが、日本語コンテンツ生成では別モデルと組み合わせる判断になります。

Gemma4 E2B と E4B の比較では、同じ系列でも推論パズルや正規表現のような問題で差が出ます。Ollama ROCm 環境の記事では、モデル性能だけでなく、GPUや実行環境も体験に影響します。つまり、テスト結果は単独で読むのではなく、用途、環境、カテゴリ別の得点と合わせて読む必要があります。

内部リンクとしては、Bonsai-8B の24問ベンチ記事、Gemma4 E4B のOCR込みベンチ記事、Gemma4 E2B vs E4B の比較記事、Ollama ROCm Radeon 780M のUbuntu環境記事をつなぐ想定です。サイト内では、ローカルLLMのGPU選びページやGPUランキングとも接続すると、読者が「どのモデルを、どの環境で試すか」まで進みやすくなります。

このページの役割は、各ベンチ記事の前提をそろえることです。24問の内容、採点基準、ランク定義、カテゴリ別の狙いが分かると、単に「このモデルはAだった」「このモデルはCだった」で終わらず、なぜその結果になったのかを読めるようになります。

ローカルLLMを選ぶときは、合計点だけでなく、Round A の直感耐性、Round B の推論保持、Round C の実装力、Round D の日本語文脈を分けて見てください。自分の用途がコード補助なのか、日本語記事作成なのか、ローカル環境での軽量実行なのかによって、重視すべきカテゴリは変わります。

この24問テストは、今後のローカルLLM比較記事の共通のものさしとして使います。新しいモデルを読むときは、まずこのページで問題の意味を確認し、そのうえで各モデルのカテゴリ別スコアを見比べると、結果の納得感がかなり上がります。

合計点が近いモデルは、どう選び分ければいいですか？

合計だけで並べず、Round A〜D のどこで落ちたかを見てください。たとえば Bonsai-8B はコード問題に強い一方で日本語力が大きく落ちるため、コードレビュー用途では候補に残っても、日本語コンテンツの生成では別モデルと組み合わせる判断になります。

このテストの結果だけでモデルを決めていいですか？

一次スクリーニングには使えますが、それだけでは足りません。24問は万能な知能検査ではなく、ローカルLLMが実務で落としやすい失敗を見えやすくするための固定テストです。同じモデルでもGPUや実行環境で体験は変わるため、用途・環境・カテゴリ別の得点を合わせて読んでください。

採点は誰がどうつけているのですか？

各問10点満点で、完全正解が10点、部分正解が5点、不正解が0点です。採点官は Claude Sonnet 4.6 で、理由説明が必要な問題では答えだけでなく説明の筋道も見ます。正解語が出ていても理由が逆であれば満点にはしません。

• META-MARK

• BlogiGPU で LLM 推論：Radeon 780M + Ollama ROCm の速度実測と落とし穴3つRadeon 780MでOllama ROCmを動かす手順を、renderグループ・gfx1103偽装・OOMの3つの落とし穴ごとに整理。Ubuntu 24.04向けの実用ガイドです。→
• Blog【速報・完全版】Gemini 3.1 Pro徹底解説 — 推論2倍超・思考シグネチャ・エージェント時代の幕開け2026年2月19日リリースのGemini 3.1 Proを完全解説。ARC-AGI-2で77.1%（前世代比2倍超）、SWE-bench 80.6%を達成。Thinking Levels・思考シグネチャ・Context Caching最大90%削減・Batch API・Google Antigravityなど、開発者が知るべき全機能をベンチマーク比較表・料金表・プロンプト例付きで徹底解説。→
• BlogQwen3-TTS に声クローン機能を追加した話 — Gradio UI・自分の声で TTS・ハマり全記録自宅 RTX 4070 Ti の Qwen3-TTS に Gradio UI と声クローンを追加した記録。モデルの種類の罠・64KB制限・VoiceClonePromptItemの落とし穴・Gradio初期化順序まで、5件のハマりを全部書く。→

• 実際の構成を探すなら、GPU 比較ページやローカルLLM向け構成記事もあわせて見ると判断しやすいです。
• ハードウェア候補は用途別の AI 構成ガイドからたどると、単体製品より違和感なく検討できます。

24問はどんな4カテゴリで、各カテゴリが何を測っているのか

24問は4カテゴリで構成しています。Round A は意地悪・引っかけ問題で、直感や思い込みに引きずられないかを測ります。Round B は論理・推論パズルで、複数ステップの条件を保持できるかを測ります。Round C はコーディング・技術で、実装、バグ発見、セキュリティ、言語仕様の理解を測ります。Round D は日本語力テストで、敬語、俳句、慣用句、同音異義語、現代語の文脈解釈を測ります。

各問題はなぜ選ばれたのか（設計意図・引っかけのメカニズム）

各問題はなぜ選ばれたのかというと、ローカルLLMが実利用で落としやすい失敗を短時間で見えるようにするためです。A1のバットとボールは認知バイアス、A6の医者と息子は性別の思い込み、B1のモンティ・ホールは条件付き確率、B6の12枚のコインは探索と分岐、C2やC5は言語仕様の罠、D6の「やばい」は文脈で意味が反転する日本語感覚を見ます。設計意図は、単なる知識量ではなく、引っかけのメカニズムに気づけるかを測ることです。

採点はどのようにつけられるか（0/5/10点の基準・採点官）

採点はどのようにつけられるかというと、各問10点満点で、完全正解は10点、部分正解は5点、不正解は0点を基本にします。採点官は Claude Sonnet 4.6 です。理由説明が必要な問題では、答えだけでなく説明の筋道も見ます。たとえば正解語だけを出していても、理由が逆だったり、制約を落としていたりする場合は満点にしません。

スコアのランク（S〜D）はどう定義されているか

スコアのランクS〜Dはどう定義されているかというと、Sは200点以上、Aは170点以上、Bは140点以上、Cは100点以上、Dは100点未満です。合計点だけでなく、どのRoundで落ちたかを見ることで、コード補助向き、日本語文書向き、推論タスク向きといった用途別の判断ができます。

• 合計点だけでなく、Round A〜D のカテゴリ別スコアを見る。
• コード補助に使うなら Round C の点数を優先して確認する。
• 日本語記事や問い合わせ対応に使うなら Round D の点数を優先して確認する。
• 複雑な条件整理やエージェント用途に使うなら Round B の失敗内容を見る。
• 速度やサイズが魅力的なモデルでも、苦手カテゴリが用途に直撃しないか確認する。

この24問テストがどんな場面で使えるかというと、ローカルLLMを選ぶ前の一次スクリーニングに向いています。コード補助、文章作成、推論タスク、日本語対応のどれを重視するかを先に決め、その用途に近いRoundの点数を見ます。特に効果的なのは、軽量モデルを複数試して「どれを常用候補に残すか」を決めたい場面です。

このテストが不要な人は、単一の商用APIだけを使い、ローカルLLMを比較する予定がない人です。また、翻訳だけ、コード補完だけのように用途が極端に限定されている場合は、24問全体の合計点よりも、自分の用途に近い専用ベンチを見た方が早いです。つまり、このページはローカルLLMを用途別に選びたい人向けで、すべてのAI利用者に必須の読み物ではありません。

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！