概要
AI モデルの中の数値を 8 ビットの浮動小数点数で扱う方式。元の 16 ビットより、メモリの使用量が減って速く動かせる。その代わり、ごくわずかに精度が落ちることがある。
さらに小さい fp4 という方式もある。同じモデルでも、配信事業者がどの方式で動かしているかによって結果が変わりうるので、比較するときは方式をそろえる。
AI モデルの中の数値を 8 ビットの浮動小数点数で扱う方式。元の 16 ビットより、メモリの使用量が減って速く動かせる。その代わり、ごくわずかに精度が落ちることがある。
さらに小さい fp4 という方式もある。同じモデルでも、配信事業者がどの方式で動かしているかによって結果が変わりうるので、比較するときは方式をそろえる。