Ollamaでローカルにチャットを住まわせた記録 — インストールからモデル選びまで

• Ollama のインストール方法（Linux/Mac/Windows）
• インストールでハマりやすいポイントと解決策
• VRAM別に動作するモデルの目安
• おすすめモデル6選と選び方
• 実際に使って感じた正直な評価

• Ollamaとは
• インストール方法
  • 公式スクリプト（最もシンプル）
  • バイナリを直接ダウンロードする（環境を選ばない）
• VRAMがすべてを決める
• モデルの選び方
  • 日本語対応について
• 実際に使って感じたこと
• どんな用途に向くか
• よくある質問
• GPU選びの参考に
• この記事を書いた人
• 関連記事
• 関連リンク

AIチャットをローカルで動かすためのツールだ。インターネット接続なしで、自分のGPU上でLLM（大規模言語モデル）を走らせることができる。

公式サイト（ollama.com）からインストールパッケージを落として数分で使い始められる。DockerやPythonのセットアップは不要。コマンド1本で動く手軽さが評価されている理由だ。

公式スクリプト（最もシンプル）

Linux（Ubuntu）の場合、公式のワンライナーで入る。

curl -fsSL https://ollama.com/install.sh | sh

ただし、SSHでログインしている環境やsudoパスワードが対話的に入力できない環境では、これが途中で止まる。

>>> Installing ollama to /usr/local
sudo: a terminal is required to read the password

こうなったときの解決策が次の方法だ。

バイナリを直接ダウンロードする（環境を選ばない）

GitHubから直接バイナリをダウンロードする方法。最新版は.tar.zst（Zstandard圧縮）形式になっているので、古い情報（単一バイナリ）と異なる点に注意。

# 最新バージョンを確認
curl -I https://github.com/ollama/ollama/releases/latest 2>&1 | grep location

# ダウンロード・展開（v0.16.3の例）
curl -fsSL https://github.com/ollama/ollama/releases/download/v0.16.3/ollama-linux-amd64.tar.zst \
  -o /tmp/ollama.tar.zst
tar -I zstd -xf /tmp/ollama.tar.zst -C /tmp/

# ~/.local/bin/ に配置（パーミッション問題を避けるため）
mkdir -p ~/.local/bin ~/.local/lib
cp /tmp/bin/ollama ~/.local/bin/
cp -r /tmp/lib/ollama ~/.local/lib/

注意: sudo cpでシステムパスに置くとrootのumask（077）によってパーミッション600になり実行できない。~/.local/bin/（ユーザー所有）に置くのが楽。

インストールが完了したら、モデルを取得して即起動できる。

# モデルをダウンロード
ollama pull qwen2.5:7b  # 4.7GB

# 起動してチャット開始
ollama run qwen2.5:7b

ollama run を実行すると対話モードに入る。/bye で終了。それだけだ。

Macの場合はdmgファイルをインストールするだけで、Windowsも同様にインストーラーが用意されている。

HWエンジニアとして言うと、VRAMはメモリではなくGPU上の専用メモリだ。モデルのパラメータ数がそのままVRAM要件に直結する。ここを間違えると「起動はするけど使い物にならない」になる。

私が使ったRTX 4070 Ti（12GB）でqwen2.5:7bを動かしたとき、推論中のVRAM使用量は4,960MiB（約4.9GB）。12GBに対して余裕があり、同時に他のプロセスも問題なく動いた。

Ollamaが対応しているモデルはOllama Hubで確認できる（ollama.com/library）。2026年2月時点で代表的なものをまとめる。

最初の1本を選ぶなら llama3.1:8b か qwen2.5:7b を勧める。バランスが取れていて、7BならほとんどのGPU環境で動く。

実際に qwen2.5:7b に「Pythonでフィボナッチ数列を生成するコードを教えてください。コメントは日本語で」と聞いてみると、自然な日本語コメント付きのコードを返してきた。「ローカルでここまで動くのか」と正直驚いた。

日本語対応について

正直に言うと、2026年2月時点のOllamaで選べる日本語特化モデルはまだ選択肢が少ない。qwen2.5 は日本語の精度が英語専用モデルより高い印象だが、日本語に特化したモデルが台頭しつつある。

この後のシリーズ記事では、NVIDIAが開発した日本語特化ローカルモデル「Nemotron-Nano-9B-v2-Japanese」を実際にインストールして試した記録を書く予定だ。ただしOllamaではなくllaMa.cppで動かす必要があるという罠があった。その話はそちらで。

良い面から言う。

機密情報を扱う場面での安心感は別格だ。HW系の仕事では設計データや社内情報が日常的に出てくる。それをクラウドAPIに投げることへの抵抗感は、使う側としてずっとあった。ローカルはその問題を構造的に解決してくれる。

APIコストの心配がないのも地味に大きい。試行錯誤を繰り返すのに課金を気にしなくていい。

問題点も正直に書く。

8GB以下のVRAM環境では、複雑な推論や長い文脈の処理で限界が見える。「動く」と「使える」は違う。また、モデルのダウンロードに時間がかかる。7Bモデルで4〜5GB、34Bだと20GB前後。

• 機密情報の処理（クラウドに出せないデータを扱いたい）
• コスト無制限の実験・試行錯誤（APIコストを気にせず使いたい）
• オフライン環境での利用（インターネットが使えない場所）
• 自社サーバーへの組み込み（ローカルAPIとして活用）

逆に向かない用途もある。最新情報の参照（知識は学習時点でカットオフ）、GPT-4oやClaudeクラスの高精度が必要な作業、スマホなどのローリソース環境（VRAM要件があるため）。

Q. MacやWindowsでも動きますか？ はい。MacはApple Silicon（M1/M2/M3）にネイティブ対応しており、Unified Memoryを使って動作します。Windowsも公式インストーラーが用意されています。

Q. GPUがない環境（CPU推論）でも使えますか？ 使えますが、速度は大幅に落ちます。CPU推論では7Bモデルで5〜10トークン/秒程度。実用できなくはないですが、ストレスが溜まる遅さです。GPUがある環境なら圧倒的に快適です。

Q. 日本語の精度はどの程度ですか？ モデルによって大きく差があります。日本語に強いのは qwen2.5 系。英語専用モデルは日本語を話すが精度が落ちます。日本語特化モデルの選択肢も増えつつあり、別途検証記事を公開予定です。

Q. 完全無料で使えますか？ Ollama自体は無料・オープンソースです。ほとんどのモデルも無料で利用できます。ただしGPUの電気代と、初回のモデルダウンロード通信量はかかります。

Ollamaを快適に動かすには、VRAM 8GB以上のGPUを推奨する。どのGPUを選ぶかはGPUランキングで性能とコスパを比較してほしい。AIワークロード別の必要スペックはAIワークロード一覧でも確認できる。

住まわせた後、それが本当に役に立つかどうか——それは使ってみないとわからない。でも試す価値は十分にある。

情報の鮮度: この記事は 2026年2月時点の情報をもとに執筆しています。

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！

• BlogOllama導入の罠と解決手順——GPU認識・日本語チャットまでの全記録と結論RTX 4070 Ti搭載の自宅サーバーにOllamaをSSHでセットアップした実録。非対話環境でのインストール罠、バイナリ直接DL、systemdサービス化、qwen2.5:7bでの日本語チャットまで。→
• BlogNemotron-Nano-9B日本語版を実測——NVIDIA日本語特化LLMの実力と限界NVIDIAが開発した日本語特化ローカルLLM「Nemotron-Nano-9B-v2-Japanese」をUbuntuサーバー（RTX 4070 Ti）に実際にインストールして動かした実録。日本語品質・速度・VRAM使用量を正直に評価。→
• Blog自分のPCで動かすAI — GPT4All完全ガイド。GPU選びからモデル選択までGPT4AllはGUIだけでローカルLLMが動かせるツール。GPU別モデル選択ガイドと、RTX 3060がなぜコスパ最強なのかを実用的に解説。LocalDocsでPDFをAIに読ませる方法も紹介。→

• 実際の構成を探すなら、GPU 比較ページやローカルLLM向け構成記事もあわせて見ると判断しやすいです。
• ハードウェア候補は用途別の AI 構成ガイドからたどると、単体製品より違和感なく検討できます。