概要
学習を終えた LLM に文章を入力し、続きの文章（答え）を生成させる処理のことです。チャットで AI に質問して答えが返ってくるのは、推論が動いている状態です。
推論は大きく、入力を読み込む段階と、1トークンずつ出力を作る段階に分かれます。読み込みは GPU の計算力に、出力はメモリ帯域幅に左右されやすく、ローカルで動かす時は、モデル全体が GPU のメモリに収まるかどうかで速さが大きく変わります。学習に比べて必要な計算資源はずっと少なく、モデルの大きさによっては家庭用の GPU でも動かせます。