ローカルLLMベンチマーク 24問テストの全問解説 — 何を・なぜ測っているのか

こんにちは。夏休みの自由研究のような気分で、ローカル LLM を試してみたくなる頃ですね。

META-MARK のローカルLLMLLM（大規模言語モデル）大量の文章で学習し、人のように文章を読み書きできる大きな AI のモデル。詳しく →ベンチマーク（自分の PC で動かす AI の言語モデルを、同じ問題で比べるテスト）は、24問・4カテゴリ・240点満点です。読むときに見てほしいのは合計点ではなく、Round A〜D のどこで落ちたかです。そこを見れば、そのモデルをコード補助に使えるのか、日本語の文章に使えるのかが分かります。

このページは、24問がそれぞれ何を測っていて、なぜその問題を入れているのか、ランクS〜Dをどう読めばいいのかをまとめたテスト仕様です。ベンチ記事で「ランクA」「日本語力が弱い」「コードは満点」といった結果だけを見ても、どの能力がどこで崩れたのかまでは見えにくいんですよね。だから問題ごとの狙いを公開して、スコアを読むための共通のものさしを先に置いておきます。

このテストは、単に「正解できた数」を数えるためのものではありません。ローカルLLMを実際に使うときに困りやすい弱点を、カテゴリごとに切り分けるのが狙いです。

• Round A: 意地悪・引っかけ問題。直感や思い込みに引きずられないかを見る。
• Round B: 論理・推論パズル。複数ステップの条件を追えるかを見る。
• Round C: コーディング・技術。バグ発見、セキュリティ、実装の正確さを見る。
• Round D: 日本語力テスト。敬語、俳句、慣用句、同音異義語、現代語の文脈解釈を日本語ネイティブ目線で見る。

どの問題も、ローカルLLMが実利用で落としやすい失敗を短時間で見えるようにするために選んでいます。A1のバットとボールは認知バイアス、A6の医者と息子は性別の思い込み、B1のモンティ・ホールは条件付き確率、B6の12枚のコインは探索と分岐、C2やC5は言語仕様の罠、D6の「やばい」は文脈で意味が反転する日本語感覚。知識の量より、引っかけの仕組みに気づけるかを測っています。

各問10点満点、合計240点です。基本の配点はこうなっています。

• 完璧な正解: 10点
• 正解だが説明が薄い: 7点
• 部分正解: 5点
• 誤りから自己修正した: 3点
• 不正解: 0点

採点官は Claude Sonnet 4.6 です。理由の説明が必要な問題では、答えだけでなく説明の筋道も採点します。正解の単語が出ていても、理由が逆だったり途中の制約を落としていたりすれば満点にはしません。たまたま正解の単語を出しただけでは10点にならない設計です。

ランクは得点率で決めています。

ランクはモデルの絶対的な賢さを決めるものではなく、「この24問セットではどのくらい安定していたか」を読むための目安です。

ランクSは、引っかけ・論理パズル・コード・日本語のどれでも大きく崩れにくい水準です。ランクAは実用上かなり強いものの、特定のカテゴリで落とす問題が残ります。ランクBは用途を選べば使えるけれど、推論や日本語で不安定さが見え始める層。ランクCは得意分野では光る一方で、苦手なカテゴリがはっきり出る層です。ランクDは、何にでも使うにはまだ注意が要ります。

ここでもやはり、合計点よりカテゴリ別に見るのが大事です。「コードは満点だが日本語が壊滅」というモデルは、開発補助なら試す価値があっても、自然な日本語の文書づくりには向きません。逆に、日本語は自然でも論理パズルで崩れるモデルは、長い条件整理やエージェント的な作業（AI に手順を任せて自動で進めさせる使い方）で注意が必要です。

Round A は、AIが直感的な答えに飛びつかず、問題文の前提を確認できるかを見るカテゴリです。人間でも間違えやすい認知バイアスの問題や、言葉の多義性、思い込みの罠を入れています。

A1 の「バットとボール」は、認知反射テストとして有名な問題です。直感的には「10円」と答えたくなりますが、正解は「5円」。ここで10円と答えるモデルは、もっともらしい直感に強く引っ張られています。

A2 の「太郎の家族」は視点の罠で、「姉の弟 = 太郎」と理解できるかを見ます。正解は、太郎と姉3人の合計4人です。A3 の「生きている人の墓」は、法的に生きている人はお墓に入れない、という前提だけで止まると不十分です。生前にお墓を建てる寿陵という例外を知っているか、前提を広く見られるかを確かめます。

A4 の「りんごを取った」は語義の多義性の問題です。「取った」には複数の意味があるので、正解は「4. わからない」。A5 はカレンダー計算で、3月1日が日曜なら月曜日は3月2日、9日、16日、23日、30日の5回が正解です。4回と答えるのが典型的な間違いで、数え間違いが起きやすいところを見ています。

A6 の「医者と息子」は、医者は男性という思い込みを問う問題です。担当医は母親、という答えに自然にたどり着けるかを見ます。Bonsai-8B はこの問題で思い込みに引きずられて0点、Gemma4 E4B も「担当医は隠れた実の父親」という無理な物語を作って0点になった例があります。このカテゴリでは、A1で10円と答える、A6で双子の兄弟などの別解を作る、といった挙動を失格寄りに見ています。

Round B は、条件を複数ステップで抱えたまま推論できるかを見るカテゴリです。短い知識問題ではなく、途中の制約を一つ落とすと答えが崩れる問題を入れています。

B1 のモンティ・ホール問題は、条件付き確率の代表例です。ドアを変えると当選率は2/3になります。「変えても変えなくても1/2」と答えるモデルは、直感的な均等さに引っ張られています。式だけでなく、なぜ2/3なのかを説明できるかも見ます。

B2 の嘘つきと正直者は論理パズルで、どちらに聞いても「はい、正直者です」と答える構造を説明できるかを確かめます。B3 の水差し問題は、5Lと3Lを使って4Lを作る古典問題です。Gemma4 E2B はこの問題を「不可能」と誤答した例があり、手順を最後まで保持できるかで差がつきます。

B4 の100人の囚人と帽子は、協調戦略を見る問題です。先頭の人が赤帽子の数の偶奇を報告することで、99人が確実に正解できる構造を説明できるかがポイントです。B5 の川渡り問題は制約充足の問題で、ヤギを2回渡すという直感に反する解が必要になります。

B6 の12枚のコインは、このテストの中でも最難問です。3回の天秤で偽物を特定し、さらに軽いか重いかまで判定します。多くのモデルが不完全な解を返しやすく、Gemma4 E4B と Bonsai-8B もタイムアウトした壁の問題です。このカテゴリでは、B1を1/2で片付ける、B6を「わかりません」で終える、といった挙動を大きな失点として扱います。

Round C は、実際の開発補助で使えるかを見るカテゴリです。文法の知識ではなく、バグの原因、セキュリティ、アルゴリズムの改善、言語仕様の罠を理解しているかを見ます。

C1 は FizzBuzz の拡張です。7の倍数に Jazz を追加し、21 なら FizzJazz と出すような複合条件を正確に扱えるかを見ます。Bonsai-8B はこの問題で満点でした。C2 は JavaScript のクロージャの罠で、var と setTimeout の組み合わせで出力が「3,3,3」になることを説明できるかを見ます。Bonsai-8B はここで「1,2,3」と誤答しました。

C3 は SQL インジェクションです。文字列をつなげて作るクエリの危険性を指摘し、プレースホルダで修正できるかを見ます。Bonsai-8B はこの問題で満点でした。C4 は再帰フィボナッチの改善で、指数時間の処理をメモ化またはループで線形化できるか、重複計算とスタックオーバーフローという2つの問題点を挙げられるかを見ます。

C5 は Python のミュータブルデフォルト引数です。出力は [1]、[1,2]、[1,2,3] と蓄積されます。この共有リストに気づけないと、実際の Python のコードレビューでも地雷を見逃します。C6 は正規表現のチャレンジで、ローカル部が空の @example.com や、ドメイン部にアンダースコアを含む user@exam_ple.com を見抜けるかを見ます。逆に [email protected] は、メールアドレスとしては不正でもこの正規表現にはマッチします（ドメイン部の文字クラスがドットを含むため）。ここを混ぜてしまうモデルは少なくありません。Gemma4 E4B はこの問題で複数の不正パターンを正確に答え、Nemotron超えの結果を出した例があります。

このカテゴリでは、C2で「0,1,2」や「1,2,3」と答える、C5で毎回別のリストになると答える、といった言語仕様の誤解を重く見ます。ローカルLLMをコード補助に使うなら、合計点よりもこのカテゴリの点数を優先して見る価値があります。

Round D は、日本語ネイティブの目で見て使い物になるかを確かめるカテゴリです。海外モデルと国産モデルの差が出やすく、翻訳や文章生成だけでは見えない文脈の理解を見ます。

D1 は敬語の間違い探しです。「ご説明させていただきましたように」は二重敬語で、さらに主語が部長の場合は謙譲語の扱いも不自然です。Nemotron はこの問題で0点でした。D2 は俳句の評価で、松尾芭蕉、季語の「蛙」、静けさの中に音を置く「間」の美学を理解できるかを見ます。Bonsai-8B は「植野明（1621-1689）の作品」とハルシネーション（もっともらしい作り話）を返しました。

D3 は慣用句の誤用です。「的を射た」と「的を得た」、「確信犯」、「情けは人のためならず」のような、よくある誤解を見ます。D4 は同音異義語で、軌跡、感謝、施行などの漢字を文脈に合わせて選べるかを見ます。「施行」は法律用語として「しこう」と読む点も確認の対象です。

D5 は日本語の概念を英語で説明する問題です。木漏れ日、積ん読、物の哀れを文化的な文脈ごと説明できるかを見ます。Bonsai-8B は木漏れ日を「風の日に葉が揺れること」と誤解しました。D6 は「やばい」の文脈解釈です。美味しい、焦り、威圧感、感動、困惑など、同じ語が肯定にも否定にも振れる現代の日本語感覚を見ます。Bonsai-8B は全部を否定的と判断して0点でした。

このカテゴリでは、D2で作者が言えない、D6ですべての文脈を否定的と判断する、といった失敗を大きく見ます。日本語の記事、SNSの文章、問い合わせ対応に使うなら、Round D の結果はかなり重要です。

この24問テストは、万能な知能検査ではありません。ローカルLLMを実務で使うときに起きやすい失敗を、見えやすくするための固定テストです。なので、1回の合計点だけでモデルの価値を決めるより、どのカテゴリで落ちたかを見るほうが役に立ちます。

合計点が近いモデルで迷ったときも同じです。たとえば Bonsai-8B のようにファイルサイズや速度に魅力があるモデルは、コード問題で強くても日本語力で大きく落ちることがあります。その場合、ローカルでの開発補助や短いコードレビューなら候補に残りますが、日本語のコンテンツ生成では別のモデルと組み合わせる判断になります。

Gemma4 E2B と E4B の比較では、同じ系列でも推論パズルや正規表現のような問題で差が出ます。OllamaOllama（ローカルLLMランタイム）手元の PC でオープンウェイトの LLM を手軽に動かすための、無料のソフト。詳しく → ROCm 環境の記事のように、モデルの性能だけでなく GPU や実行環境も使い心地に影響します。同じモデルでも環境で体験は変わるので、テスト結果は単独で読まず、用途・環境・カテゴリ別の得点と合わせて読んでください。

使いどころとしては、ローカルLLMを選ぶ前の一次スクリーニング（最初のふるい分け）に向いています。特に効くのは、軽量モデルを複数試して「どれを常用候補に残すか」を決めたい場面です。見るときは、用途に近いRoundの点数を確かめます。チェックするのは次の点です。

• 合計点だけでなく、Round A〜D のカテゴリ別スコアを見る。
• コード補助に使うなら Round C の点数を優先して確認する。
• 日本語記事や問い合わせ対応に使うなら Round D の点数を優先して確認する。
• 複雑な条件整理やエージェント用途に使うなら Round B の失敗内容を見る。
• 速度やサイズが魅力的なモデルでも、苦手カテゴリが用途に直撃しないか確認する。

反対に、このページが要らない人もいます。単一の商用 API（クラウドの AI サービス）だけを使っていて、ローカルLLMを比べる予定がない人です。翻訳だけ、コード補完だけのように用途が極端に限られているなら、24問全体の合計点より、その用途に近い専用のベンチを見たほうが早いです。

このページの役目は、各ベンチ記事の前提をそろえることです。24問の中身、採点基準、ランクの定義、カテゴリ別の狙いが分かっていれば、「このモデルはAだった」「Cだった」で終わらず、なぜその結果になったのかまで読めます。今後のローカルLLM比較記事もこの24問を共通のものさしにするので、新しいモデルの記事を読むときは、まずここで問題の意味を確かめてから、カテゴリ別のスコアを見比べてみてください。

どのモデルを、どの環境で試すかまで進めたいなら、GPU 比較ページやローカルLLM向けの構成記事もあわせて見ると判断しやすいです。ハードウェアの候補は用途別の AI 構成ガイドからたどると、単体の製品を眺めるより違和感なく検討できます。

• META-MARK

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！