VRAM12GBで35Bクラスが動く時代、Qwen3.5で確かめた3つの事実

RTX 4070 Ti（VRAM 12GB）でQwen3.5-35B-A3Bを動かした。

Alibabaが2026年2月に公開したMoEモデルだ。35Bのパラメータを持ちながら、推論時のアクティブ量は3B相当という設計。「12GBで動く」という話が出回っていたので、実際に確かめることにした。

結論から言うと、動いた。ただし普通の方法では動かなかった。

① Ollama v0.17.4はqwen35moeアーキテクチャ未対応（unknown model architecture: qwen35moe） ② Q2_K_L（12GB GGUF）はVRAMに入らない——5MiB差でcudaMallocが失敗 ③ IQ2_XS（9.3GB GGUF）が正解——VRAM使用量10.8GB、約1GB余裕あり ④ 24問ベンチマーク：170/240（70.8%）Rank B / 113 tok/s

📋 この記事で使用したテスト問題（全24問）は LLM 24問テストスイート で確認できます。

1. テスト環境
2. 壁① Ollamaが対応していない
3. 壁② Q2_K_Lが12GBに入らない理由
4. 解決：IQ2_XSで突破
5. 24問ベンチマーク
6. 最終スコアカード
7. よくある質問

まずOllamaで動かそうとした。v0.17.4（最新版）に更新して、BartowskiのHugging FaceリポジトリからGGUFを引っ張ろうとすると。

unknown model architecture: qwen35moe

GGUFのアーキテクチャ識別子が qwen35moe なのだが、Ollama 0.17.4に内蔵されているllama.cppが未サポートだ。Q2_K_LでもIQ2_XSでも同じエラーが出る。Ollamaでは現時点では動かない。

解決策はllama-serverを使うこと。Ollamaが内蔵するllama.cppより新しいコミットのCUDAビルドは、qwen35moeに対応している。

Ollamaの「Hugging FaceのGGUFを直接pullできる」仕組みは確かに便利だ。ただしリリース直後のモデルはllama.cpp本体が先行サポートする。GUIツールの快適さを前提にしていると、新しいアーキテクチャのモデルで詰まることがある。

llama-serverで試したところ、今度は別の問題が出た。

Q2_K_Lは12.8GBのGGUFファイルだ。VRAMへの実際の要求量は11,737MiB——12GBに収まるはずだった。実際のエラーがこれ。

cudaMalloc failed: needs 11737.53MiB, free 11743MiB

空きは11,743MiB。差は5MiB。なのに失敗する。

nvidia-smiが報告する「空きメモリ」とCUDAアロケーターが実際に使える連続メモリ領域は一致しない。MoEモデルの場合、全エキスパート重みが単一CUDAバッファに確保されるため、--ngl でGPU層数を調整する手も効かない。5MiBのヘッドルームでは足りなかった。

IQ2_XSとは、imatrixと呼ばれる重要度スコアで圧縮対象を選別する量子化手法だ。通常のIQ2（均一2bit量子化）より品質劣化が少ない。

IQ2_XS（9.30GB）に切り替えたところ、起動した。VRAM使用量は10,803〜10,811MiB。約1GBの余裕が生まれた。

起動後の速度は113.4 tok/s。MoE設計のアクティブパラメータが3B相当のため、これだけの速度が出る。手元の7Bモデルと大差ない速度感だ。

「12GBで動く」は正確には「IQ2_XSを選べば10.8GBで動く」だ。Q2_K_Lは無理。IQ2_XSが正解。

意地悪（A）・論理（B）・コーディング（C）・日本語（D）の各6問、計24問。採点はClaude Sonnet 4.6（10点満点）。

スコアサマリー

ランク：B（60〜74%ライン）

LLM性格診断：「思考過多型」

24問中6問（A6・B5・B6・C6・D1・D3）が空回答だった。共通の原因は「推論チェーンが8192トークンを全消費して、最終回答が出力されなかった」こと。難しい問題ほど丁寧に考えようとする。その丁寧さが、答えを出せない結果につながった。

A1〜A2・A4〜A5はパーフェクト（各10点）。引っかけのパターンを見抜いて正解に辿り着く能力は問題ない。A3は途中で迷走したが立て直して3点。

A6が空回答。推論チェーンがmax_tokensを使い切った。

「騙されない」力はある。ただし複雑な引っかけには考え込みすぎる傾向がある。

B1〜B4がすべて10点。論理を積み上げる問題では安定していた。推論の流れが整然としていて、採点しやすい回答が出てきた。

B5・B6は空回答。どちらも複雑な推論が必要な問題で、同じパターンで詰まった。

論理問題は得意だが、難易度が上がると推論が暴走する。max_tokensを16384以上に設定すれば改善が見込める。

ここが今回の見どころだった。C1〜C5がすべて10点。

コードの正確さだけでなく、変数名・コメント・エラーハンドリングの設計まで採点したが、すべて問題なかった。「コーディング補助として実用になるか」という問いへの答えは、このラウンドで出た。C6だけ空回答。

コミュニティで言われている「コーディング能力が高い」という評価は、今回の数字（83.3%）でも裏付けられた。

D2・D4・D6は10点。基本的な日本語の理解と生成は問題ない。D5（7点）は惜しい部分はあったが許容範囲だ。

D1・D3が空回答。日本語の細かいニュアンスを問う問題で詰まった。IQ2_XS量子化が日本語の微妙なコンテキストに影響している可能性もある。

日常的な会話・要約・翻訳程度なら実用的なレベルだ。

A（意地悪）: 43/60  (71.7%) ████████████████████░░░░░
B（論理）  : 40/60  (66.7%) █████████████████░░░░░░░░
C（コード）: 50/60  (83.3%) █████████████████████░░░░
D（日本語）: 37/60  (61.7%) ████████████████░░░░░░░░░
──────────────────────────────────────────────────
合計       : 170/240 (70.8%) → Rank B

Q. Ollamaではいつ動くようになりますか？ Ollamaが内蔵するllama.cppが更新されれば対応される。新しいアーキテクチャはllama.cpp本体が先行するため、数週間〜数ヶ月のラグがあることが多い。現時点ではllama-serverが唯一の選択肢だ。

Q. Q2_K_L（12GB）は本当に12GBのVRAMには入りませんか？ RTX 4070 Ti 12GBでは動かなかった。理論値では5MiBの余裕があるが、CUDA allocatorのオーバーヘッドで失敗する。RTX 4080（16GB）以上なら問題ないはずだ。

Q. max_tokensを増やせばスコアは上がりますか？ 空回答の6問については改善が見込める。8192を16384〜32768に設定すれば、推論を最後まで走らせられる問題が増える。KVキャッシュが増えるがVRAM影響は軽微な範囲だ。

Q. コーディング補助として実用になりますか？ 今回の結果（C: 83.3%）では十分に実用レベルだ。llama-serverのセットアップという前提はあるが、その先の品質は今回の数字が示している。

動いた。思ったより速かった。

113 tok/sは、手元の7B denseモデルと大差ない速度感だ。35Bのパラメータを持ちながら、実質3B分の計算量で推論するMoE設計の合理性が、この数字に表れている。

ただし「Ollamaで手軽に動かせる」という話ではない。現時点ではllama-serverを自前でビルドする必要がある。Q2_K_Lが12GBに入らないことも含めて、「12GBで動く」という話には2つの前提が隠れている。これは正直に書いておきたい。

コーディング補助として毎日使うモデルを探しているなら、今回の結果（C: 83.3%）は参考になるはずだ。

今後の予定: Ollama側がqwen35moeをサポートした時点で、同条件（IQ2_XS / ctx 16384）で再テストし、セットアップ難易度込みの比較記事を書く予定だ。また、Q4_K_M（24GB環境）との品質差も計測したい。

Ollamaで動くローカルLLMの全体像はOllamaワークロードガイドにまとめてある。VRAMごとのGPU選びはGPUランキングで確認できる。

• BlogQwen3.5:4b 24問テスト——thinkingをOFFにしたらスコアが21%上がった話Qwen3.5:4bをOllama上でベンチマーク。thinkingモードが原因で9問が空回答になった。think:falseに切り替えたらスコアが194/240（80.8%）に回復。RTX 4070 Tiで101.5 tok/s出る4Bモデルの実力を24問で徹底検証。→
• BlogNemotron-Nano-9B日本語版を実測——NVIDIA日本語特化LLMの実力と限界NVIDIAが開発した日本語特化ローカルLLM「Nemotron-Nano-9B-v2-Japanese」をUbuntuサーバー（RTX 4070 Ti）に実際にインストールして動かした実録。日本語品質・速度・VRAM使用量を正直に評価。→
• BlogOllamaでローカルにチャットを住まわせた記録 — インストールからモデル選びまでOllamaを使ってローカルLLMを動かした実録。インストール手順・VRAM別モデル選び・実際に使って感じた正直な評価まで。RTX 4070 Ti（12GB）環境での体験ベース。→

• 実際の構成を探すなら、GPU 比較ページやローカルLLM向け構成記事もあわせて見ると判断しやすいです。
• ハードウェア候補は用途別の AI 構成ガイドからたどると、単体製品より違和感なく検討できます。

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！