概要
AI モデルが一度に扱える文章の長さの上限で、入力と出力を合わせたトークン数で表すのが一般的です。会話の履歴や読み込ませた資料も、この中に収まる必要があります。
ローカルで動かす時は、長いコンテキストを使うほど KV キャッシュのためのメモリが増え、GPU のメモリが足りなくなることがあります。モデルが対応している上限と、実際に設定して使う長さは別なので、Ollama などでは使う長さを設定で指定します。
AI モデルが一度に扱える文章の長さの上限で、入力と出力を合わせたトークン数で表すのが一般的です。会話の履歴や読み込ませた資料も、この中に収まる必要があります。
ローカルで動かす時は、長いコンテキストを使うほど KV キャッシュのためのメモリが増え、GPU のメモリが足りなくなることがあります。モデルが対応している上限と、実際に設定して使う長さは別なので、Ollama などでは使う長さを設定で指定します。