KV キャッシュ(けーぶいきゃっしゅ)

AI は次の1語を出すたびに、それまでの文章全体を参照する。その計算結果を毎回やり直さずに済むよう取っておくのが KV キャッシュ。文章が長くなるほど大きくなり、ローカルで動かす時は VRAM を圧迫する。長いコンテキストを使うとモデル本体以外にメモリが要る理由はこれ。