メインコンテンツへスキップ
← 用語辞典に戻る
AI・機械学習

トークン(とーくん)

AI が文章を読み書きする時の、文字を細かく区切った単位。料金もこの数で決まる。

概要

AI は文章をそのままではなく、単語や文字のかけらに区切った「トークン」の単位で扱う。日本語と英語では同じ内容でもトークン数が違い、区切り方もモデルごとに違う。API の料金は「100万トークンあたり何ドル」で決まり、AI が考えた分(思考モード)も出力トークンとして数えられる。

関連用語

← PCパーツ・AI用語辞典に戻る