AI・機械学習

MoE(えむおーいー)

モデルの中を専門家役に分け、1語ごとに一部だけを動かす作り（Mixture of Experts）。

概要

大きなモデルの中身を多数の「専門家」に分け、1語を出すたびにその一部だけを使う作り。全体は大きくても動く部分が小さいので速い。「35B-A3B」のような名前は、全体35B（350億）・1回に動くのは3B、という意味。ただし VRAM には全体を載せる必要がある。