トークン/秒（tok/s）(とーくんぱーびょう)

AI モデルが1秒間に処理できるトークンの数で、ローカル LLM の速さを比べる時の基本的な指標です。トークンは単語ではなく、文章を細かく区切った単位で、何文字が1トークンになるかはモデルや言語によって違います。

入力を読み込む速さと出力を生成する速さは大きく違うため、どちらの数値かを確認して比べます。出力の速さは主に GPU のメモリ帯域幅に、入力を読む速さは計算力に左右されます。同じ GPU でも、モデルの大きさや量子化、使うソフトで数値が変わります。