概要
大量の文章で学習した、規模の大きな言語モデルです。次に来るトークンを予測する仕組みを使って、質問への回答や要約、翻訳、プログラムの作成などを行います。ChatGPT や Claude などの対話 AI の中身がこれにあたります。
重みが公開されたオープンウェイトの LLM なら、自分の PC で動かすこともできます。その時に必要な GPU のメモリはパラメータ数と量子化の程度でおおむね決まるため、モデルの大きさと手持ちの GPU を見比べて選ぶのが基本です。
大量の文章で学習した、規模の大きな言語モデルです。次に来るトークンを予測する仕組みを使って、質問への回答や要約、翻訳、プログラムの作成などを行います。ChatGPT や Claude などの対話 AI の中身がこれにあたります。
重みが公開されたオープンウェイトの LLM なら、自分の PC で動かすこともできます。その時に必要な GPU のメモリはパラメータ数と量子化の程度でおおむね決まるため、モデルの大きさと手持ちの GPU を見比べて選ぶのが基本です。