量子化（Quantization）(りょうしか)

AI モデルの重みなどの数値を、16 ビットからより少ないビット数（8 ビットや 4 ビットなど）で表し直す手法です。モデルのファイルサイズと必要なメモリが小さくなり、多くの場合は生成も速くなります。

その代わり、ビット数を減らすほど答えの質は下がっていきます。ローカル LLM では、GGUF の「Q4_K_M」のように量子化の程度がファイル名に書かれているので、GPU のメモリに収まる範囲で、なるべく高いビット数を選ぶのが基本的な考え方です。