概要
自分の PC にオープンウェイトの LLM をダウンロードして動かすための、オープンソースのソフトです。コマンド1つでモデルを取得して対話でき、ほかのソフトから呼び出すための API も用意されています。Windows・macOS・Linux で使えます。
NVIDIA や AMD の GPU、Apple シリコンの Mac で速く動き、GPU のメモリに収まらない分は CPU とメインメモリで補えますが、その分遅くなります。動かせるモデルの大きさは主に GPU のメモリ量で決まるので、使いたいモデルのサイズを見て GPU を選ぶのが基本です。