GGUF（ggml Unified Format）(じーじーゆーえふ)

llama.cpp の開発プロジェクトが定めた、LLM のモデルを1つのファイルにまとめて保存する形式です。重みに加えて、トークナイザーなど動かすのに必要な情報も同じファイルに入ります。旧形式の GGML の後継です。

Ollama や LM Studio など llama.cpp を土台にしたソフトで広く使われ、Q4_K_M のように量子化の程度を変えたファイルが配られています。ファイル名の量子化の表記を見て、必要なメモリ量と精度のバランスを選べます。