概要
AI は文章をそのままではなく、単語や文字のかけらに区切った「トークン」の単位で扱う。日本語と英語では同じ内容でもトークン数が違い、区切り方もモデルごとに違う。API の料金は「100万トークンあたり何ドル」で決まり、AI が考えた分(思考モード)も出力トークンとして数えられる。
AI は文章をそのままではなく、単語や文字のかけらに区切った「トークン」の単位で扱う。日本語と英語では同じ内容でもトークン数が違い、区切り方もモデルごとに違う。API の料金は「100万トークンあたり何ドル」で決まり、AI が考えた分(思考モード)も出力トークンとして数えられる。