推論に特化したモデルが39%しか取れない理由——deepseek-r1で何が起きたか

TL;DR: deepseek-r1:7bをRTX 4070 Ti + Ollamaで24問テスト。結果は94/240点（39.2%）ランクD。6問がタイムアウト、日本語に中国語が混入。論理パズルは満点だが、日本語用途には向かない。

📋 この記事で使用したテスト問題（全24問）は LLM 24問テストスイートで確認できます。

deepseek-r1:7bとは何か

deepseek-r1:7bは、DeepSeek-R1の推論能力をQwen2.5-7Bに蒸留（distill）したモデルです。ベースとなるR1は671Bというとんでもない規模のモデルで、それをどう7Bに「凝縮」したかというと、R1が生成した推論データを使って小さなモデルを再学習させる手法をとっています。

料理でいうと、プロのシェフが何千時間もかけて覚えた「手の動き」を見せて、見習いに真似させたようなもの。上手くいけば本物に近づくし、上手くいかないと「手の動きだけ真似て料理はできない」状態になります。

どちらになったかは、数字を見れば明らかです。

公式リポジトリは deepseek-ai/DeepSeek-R1（GitHub）、蒸留版の詳細は HuggingFace で確認できます。

テスト環境

項目	内容
モデル	deepseek-r1:7b（Ollama 経由）
ハードウェア	RTX 4070 Ti（AIサーバー）
推論速度	7.1 tok/s
max_tokens	8,192
temperature	0.3
接続	SSH トンネル（localhost:11434）

速度については後述しますが、他モデルより明らかに遅い。thinking（推論ステップ）の出力が多いのが原因です。

スコア詳細：カテゴリ別の明暗

カテゴリ	スコア	評価
A: 意地悪・引っかけ	30/60	半分しか取れず
B: 論理・推論	31/60	まずまず
C: コーディング	20/60	タイムアウト3問
D: 日本語力	13/60	壊滅的
合計	94/240（39.2%）	ランクD

何が起きたか：問題別に追う

思考が止まらなくなる問題

6問がタイムアウト（各180秒）になりました。

B5: 川渡り問題（農夫・狼・ヤギ・キャベツ）
C1: FizzBuzz拡張（3・5・7の倍数）
C4: 再帰フィボナッチの改善
C6: 正規表現（メールアドレス）
D1: 敬語の間違い探し
D2: 俳句の評価（古池や）

共通点があります。「答えが複数候補ある問題」「文脈から判断する問題」でタイムアウトが多い。川渡り問題のthinkingトークン数（推論ステップ）は、完了した問題と比べると数倍に膨らんでいたと推察されます。

これは蒸留モデルの宿命でもあります。R1本体なら、推論を「もう十分」と止めるタイミングを自力で学習しています。7Bに蒸留されたモデルは、「どこで止めるか」が弱い。迷路に入って、出口を見つけられず走り続ける状態です。

日本語が怪しい問題

試した問題の多くで、日本語と中国語が混じった出力が出てきました。

A1（バットとボール問題）の回答から一部を引用します。

「atはボール比我100円安いので、atの値段は x + 100 円となる」

「比我」は中国語の文法です。計算自体は正しく5円と答えていますが、このレベルの混入が全問にわたって発生しています。

理由はシンプルで、ベースモデルであるQwen2.5は中国語データが非常に多い。7Bという規模では、日本語の「文脈切り替え」に使えるパラメータが足りず、Chinese-Japaneseの境界が曖昧になる場面があります。

特に壊滅的だったのはD5（日本語特有表現の翻訳）。「木漏れ日」「積ん読」「物の哀れ」を英訳する問題で、こんな回答が出てきました。

木漏れ日 → "Drought Day"（干ばつの日？）
積ん読 → "Accumulation of Knowledge"（知識の蓄積）
物の哀れ → "Sorrow from Possessions"（所有物からの悲しみ）

全部外れています。木漏れ日がなぜ干ばつの日になったのか、今でも謎のままです。モデルの中で何が起きたのかは、私には追えません。

論理問題だけは強い

面白いことに、数学的な構造がある問題では正答が多かった。

A1（バットとボール）：10/10
A5（月曜日の回数）：10/10
B1（モンティ・ホール問題）：10/10
B4（囚人と帽子のパリティ戦略）：10/10

特にB4は印象的でした。「100人の囚人が、先頭の一人だけをランダムにして、残り99人を必ず助けるパリティ戦略」を正確に説明できていました。これは論理的な構造が数学で記述できる問題です。

推論に使うメカニズムは機能している。ただ、それを「日本語で自然に表現する」能力が7Bという規模では足りていない、ということだと思います。

他モデルとの比較

当サイトでテストしてきたモデルと並べると、差は明確です。

モデル	スコア	速度	ランク
Qwen3.5:4b	194/240（80.8%）	101.5 tok/s	A
Qwen3:4b	182/240（75.8%）	104.8 tok/s	A
Qwen3.5:9b	180/240（75.0%）	約5 tok/s	A
Swallow-Llama3-8b	121/240（50.4%）	6.8 tok/s	C
deepseek-r1:7b	94/240（39.2%）	7.1 tok/s	D

Qwen3.5:4bの「半分以下」のスコアで、速度も遅い。パラメータ数は7〜8Bクラスなのに、日本語テストでは最下位になりました。

推論特化の蒸留モデルという特性が、英語圏のベンチマーク（MATH-500の92.8%等）では輝く一方で、日本語の文脈理解や表現力では裏目に出てしまいます。

deepseek-r1:7bは使えるか

正直なところを言えば、日本語メインの用途ではQwen3系に軍配が上がります。スコアも速度も。

ただ、こういうモデルの使い所があるとすれば——英語で数学や論理の問題を解かせる、コードのデバッグを英語で指示する、そういった「言語より論理」が求められる用途です。

7Bという規模のモデルが持てる「推論の深さ」という観点では、このモデルは確かに他と違う何かを持っている。ただ、その深さが日本語テストでは「考えすぎて止まる」という形で出てきてしまいました。

今後、ベースモデルの言語バランスが改善された版が出るか、あるいはR2が公開されれば、また別の話になるかもしれません。このベンチマークはあくまで2026年3月時点の7B蒸留版の数字です。

よくある質問

Q. deepseek-r1:7bはOllamaで動かせますか？ A. はい。ollama pull deepseek-r1:7b で取得できます。RTX 4070 Ti（VRAM 12GB）環境では問題なく動作しました。ただし推論速度は7.1 tok/sと他の7Bモデルより遅めです。

Q. thinkingモードはオフにできますか？ A. deepseek-r1:7bのthinkingは、Qwen3系のような think:false フラグでは制御できません。モデル自体が <think> タグを出力する仕様で、Ollamaが自動的に分離処理します。thinking量を減らすには max_tokens を下げるか、より具体的なプロンプトで誘導する方法が現実的です。

Q. 日本語でも使える場面はありますか？ A. 日本語のシンプルな計算問題や事実確認（「5円」「5回」など）は正確に答えられています。ただし文化的文脈・語彙・敬語判定が必要な問題は厳しい。英語での数学・コードタスクに絞って使うのが現実的です。

まとめ

項目	結果
スコア	94/240（39.2%）ランクD
タイムアウト	6問（複雑な推論・日本語文化問題）
推論速度	7.1 tok/s
強み	数学・論理パズル（モンティ・ホール、パリティ戦略）
弱み	日本語表現、文化的文脈、タイムアウト多発
用途適合	英語の論理タスク向き。日本語メインは非推奨

他のモデルとの比較は、以下の各記事を参照してください。

ローカルLLMの実行環境を整えたい場合は、Ollama対応GPUの比較も参考になります。

「推論特化」という言葉は確かに本当のことを言っています。ただ何の推論かは、もう少し慎重に見た方がいい。

Zennでも読めます

この記事のダイジェスト版を Zenn で公開しています。

この記事を書いた人

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！