Nemotron-Nano-9B日本語版を実測——NVIDIA日本語特化LLMの実力と限界

• Nemotron-Nano-9B-v2-Japaneseと「nemotron-mini」の違い（重要）
• Ollama でクラッシュする理由と llama.cpp を使った解決策
• 実際の日本語品質テスト（4プロンプト）
• VRAM 4.4GB・Vulkan 10 tok/s / CUDA 64 t/s の実測値
• llama.cpp Web UI の使い方と「推論が見える」体験

• このモデルの特徴
• ハマりポイント①：nemotron-miniとは別物
• ハマりポイント②：Ollamaでクラッシュする
• llama.cppで動かす手順
• ハマりポイント③：max_tokensを小さくすると回答が空になる
• 日本語品質テスト
  • テスト1: 要約タスク
  • テスト2: コード生成（日本語コメント付き）
  • テスト3: 実用相談
  • テスト4: 創作（500文字童話）
• 推論速度とリソース
• 正直な評価
• よくある質問
• GPU選びの参考に
• この記事を書いた人
• 関連記事
• 関連リンク

NVIDIAが2026年1月に公開した日本語特化9Bモデルだ。パラメータ数は9B（90億）で、家庭用GPU（8〜12GB VRAM）で動作できる規模に収まっている。

アーキテクチャが面白い。Llama系ではなく nemotron_h というMamba（SSM）とAttentionを組み合わせたハイブリッドアーキテクチャを採用している。推論時に英語で内部思考（chain-of-thought）を行い、日本語で回答する2段階構造だ。

この「考えてから答える」構造が、後で紹介するハマりポイントにもつながってくる。

Ollama公式ライブラリに nemotron-mini というモデルがある。名前が似ているので最初そちらを試した。これは完全に別物。

nemotron-mini は英語向けの4Bモデルで、日本語特化の Nemotron-Nano-9B-v2-Japanese とはアーキテクチャも目的も異なる。Ollamaで「Nemotron」と検索するとこちらが出てきてしまうので注意が必要だ。

今回のモデルのGGUFはHugging Face の mmnga-o/NVIDIA-Nemotron-Nano-9B-v2-Japanese-gguf から入手する。

GGUFをダウンロードして ollama create でモデル登録し、ollama run を実行すると——

{"error":"llama runner process has terminated: exit status 2"}

クラッシュする。「ここまで来てこれか」と思わず声が出た。ログを見ると nemotron_h アーキテクチャを処理しようとしたところでセグフォルト。

原因: nemotron_h（MambaハイブリッドSSM）はllama.cpp b6315以降でサポートが追加されたが、Ollama v0.16.3にバンドルされているllama.cppのバージョンがそれより古い。

ここで少し構造を整理しておく。Ollama は llama.cpp を内部エンジンとして使うラッパーツールだ。

llama.cpp（C++製 LLM 推論エンジン）
    ↑ 内部で使用
  Ollama（モデル管理・API ラッパー）

新しいアーキテクチャへの対応は llama.cpp 本体が先行し、Ollama へのバンドルには数週〜数ヶ月のラグが生じることがある。今回はそのラグにハマった形だ。今後も新アーキテクチャが登場するたびに同じパターンが起きる可能性がある。

解決策: llama.cpp の最新ビルドを直接使う。

GitHubからLinux向けVulkanビルドをダウンロードする。Ubuntu + NVIDIA GPUでもVulkan経由でGPU推論が可能だ。

# Vulkanビルドをダウンロード
curl -fsSL https://github.com/ggml-org/llama.cpp/releases/download/b8133/llama-b8133-bin-ubuntu-vulkan-x64.tar.gz \
  -o ~/llama-vulkan.tar.gz
tar -xzf ~/llama-vulkan.tar.gz -C ~/llama-vulkan/

# GGUFモデルをHugging Faceから取得（Q4_K_M: 6.1GB）
# mmnga-o/NVIDIA-Nemotron-Nano-9B-v2-Japanese-gguf から入手

# サーバー起動
cd ~/llama-vulkan/llama-b8133
export LD_LIBRARY_PATH=$(pwd)
./llama-server \
  -m ~/nemotron-models/NVIDIA-Nemotron-Nano-9B-v2-Japanese-Q4_K_M.gguf \
  -ngl 35 --port 8088 --host 127.0.0.1

注意: 展開先のパスにライブラリが含まれているので、実行時に LD_LIBRARY_PATH の設定が必要。ポート8080はGNOMEのIME（mozc_server）が使用中の場合があるため8088等に変更すること。

起動すると RTX 4070 Ti が Vulkan で認識される。

ggml_vulkan: 0 = NVIDIA GeForce RTX 4070 Ti | fp16: 1 | bf16: 1 | matrix cores: NV_coopmat2
main: server is listening on http://127.0.0.1:8088

ブラウザで http://127.0.0.1:8088 を開くとWeb UIが立ち上がる。入力欄の右下にモデル名が表示されていれば正常にロードされている証だ。

これが一番わかりにくかった。APIで max_tokens=200 を指定して叩くと、content が空で返ってくる。

モデルの構造が原因だ。このモデルは回答前に**英語で内部思考（reasoning）**を行う。思考トークンも max_tokens の消費量に含まれるため、200トークン程度だと思考だけで枠が埋まって回答が空になってしまう。

// NG: max_tokens=200
{"content": "", "reasoning_content": "The user asks to summarize...（長い思考）"}

// OK: max_tokens=1500以上
{"content": "Ollama は...", "reasoning_content": "..."}

max_tokens は 1500 以上を推奨。逆に言えば、reasoning_content に思考プロセスが全部見えるので、それはそれで面白い。

Web UIでは「Reasoning」バーをクリックすると英語の内部思考が展開される。思考が英語で行われ、回答だけ日本語になっているのが視覚的に確認できる。

4つのプロンプトで実際に試した。

テスト1: 要約タスク

「日本語の要約をしてください：Ollama は Llama や Mistral などのオープンソース LLM をローカルで動かすためのツールです。」

→ 簡潔かつ正確にまとめてくれた。 文体は丁寧体で読みやすい。翻訳くさい表現がない。

テスト2: コード生成（日本語コメント付き）

「Pythonで簡単なWebスクレイパーを書いてください。コメントは日本語で。」

→ BeautifulSoupを使ったコードを、各行に自然な日本語コメント付きで生成。「# HTMLをパース」「# タイトルを取得」といった、機械的でなく人が書いたようなコメントが出てきた。

テスト3: 実用相談

「自作PCのGPU選びについてアドバイスをください。予算は5万円です。」

→ RTX 3060 / RX 6600 の比較をMarkdown見出し・箇条書きで整理。価格・スペック・注意点まで網羅。実用的な回答品質だと感じた。

テスト4: 創作（500文字童話）

「日本語能力がどれくらいか知りたい。500文字ぐらいの童話を考えて」

→ 「小さなねずみのヒナ」が川のほとりで光の玉を使い、森の動物たちと力を合わせて洪水を乗り越える物語を生成。起承転結があり、「光の玉」「水の精」といった語彙の選択も、日本の童話らしい空気感が出ている。

全体的に「翻訳くさい日本語」がない。文末表現も自然で、日本語ネイティブが書いたような文章が出てくる。これは正直、想定より良かった。

VRAM 4.4GBは思ったより少ない。RTX 3060（12GB）でも余裕で動く計算だ。ただしVulkan推論は遅い。10 tok/sは会話が成り立つ遅さではあるが、快適とは言えない。

CUDAビルドに切り替えると話が変わる。Web UIの速度カウンターに64.32 t/s（1,298トークン・20秒）が表示された。Vulkanとは別次元の速さだ。

CUDAビルドではVulkanの3〜6倍が出る。llama.cppのCUDA対応ビルドはLinux向けの公式配布がなく、現状はソースからのビルドが必要だ（cmake -DGGML_CUDA=ON）。時間のある人はそちらを試す価値がある。

Ollamaで一発起動できないのは難点だが、それを差し引いても日本語品質は本物だ。9Bクラスで2026年2月時点の最注目選択肢の一つだと思う。

「動かすのに手間がかかる」は初回だけの話で、一度セットアップすれば後は問題ない。クラウドAPIに日本語の機密テキストを投げたくない用途に特に向いている。

Q. WindowsやMacでも動きますか？ llama.cppにはWindows/Mac向けビルドも存在します。ただし本記事はLinux（Ubuntu）+Vulkanの環境での検証です。Macの場合はMetal推論が利用可能で、より高速に動く可能性があります。

Q. Ollama対応はいつになりますか？ 不明です。nemotron_hアーキテクチャのOllamaサポートはllama.cpp側では追加済みですが、Ollamaへのバンドルはバージョン更新を待つ必要があります。

Q. CUDA推論にするにはどうすればいいですか？ llama.cppをCUDAオプション付きでソースビルドする必要があります（cmake -DGGML_CUDA=ON）。RTX 4070 Tiならサポート済み。ビルドに慣れている人向けです。

Q. 「推論の思考」が英語で出るのは仕様ですか？ はい、仕様です。このモデルは英語で考えてから日本語で答える設計です。reasoning_contentを見ると思考プロセスが追えるので、回答の根拠が確認しやすいというメリットもあります。

Q. PDFはアップロードできますか？ テキスト付きのPDFはllama.cpp Web UI経由でアップロード可能です。ただし画像のみのPDF（スキャンPDF）は読み取れません。その場合、モデルは「OCR処理済みのテキスト版を提供する」「画像を個別に送信する」「テキスト部分があれば抽出する」の3つの代替案を丁寧に提示してくれます。

VRAMは8GB以上あれば Q5_K_M（7GB）も動く。12GB以上なら余裕だ。GPUランキングでVRAM別の製品を確認できる。AIワークロード別のスペックはAIワークロード一覧も参考にしてほしい。

情報の鮮度: この記事は 2026年2月時点の情報をもとに執筆しています。

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！

• BlogOllamaでローカルにチャットを住まわせた記録 — インストールからモデル選びまでOllamaを使ってローカルLLMを動かした実録。インストール手順・VRAM別モデル選び・実際に使って感じた正直な評価まで。RTX 4070 Ti（12GB）環境での体験ベース。→
• BlogOllama導入の罠と解決手順——GPU認識・日本語チャットまでの全記録と結論RTX 4070 Ti搭載の自宅サーバーにOllamaをSSHでセットアップした実録。非対話環境でのインストール罠、バイナリ直接DL、systemdサービス化、qwen2.5:7bでの日本語チャットまで。→
• BlogQwen3:4b 24問テスト——コード95点、日本語22点の衝撃格差4Bパラメータの軽量モデルQwen3:4bを24問テスト。論理・コードで95%を叩き出しながら日本語力は22%に沈む衝撃の格差を徹底解剖。→

• 実際の構成を探すなら、GPU 比較ページやローカルLLM向け構成記事もあわせて見ると判断しやすいです。
• ハードウェア候補は用途別の AI 構成ガイドからたどると、単体製品より違和感なく検討できます。