概要
大きな AI モデルを追加で学習させる時に、元の重みは固定したまま、小さな追加の行列だけを学習する手法です。Low-Rank Adaptation の略です。学習する量が少ないので、全体を学習し直すより必要なメモリと時間が少なく済み、できあがるファイルも小さくなります。
画像生成 AI では、特定の画風やキャラクターを覚えさせた LoRA が多く配られていて、元のモデルに重ねて使います。LLM でも、家庭用の GPU で微調整(ファインチューニング)する方法としてよく使われます。
大きな AI モデルを追加で学習させる時に、元の重みは固定したまま、小さな追加の行列だけを学習する手法です。Low-Rank Adaptation の略です。学習する量が少ないので、全体を学習し直すより必要なメモリと時間が少なく済み、できあがるファイルも小さくなります。
画像生成 AI では、特定の画風やキャラクターを覚えさせた LoRA が多く配られていて、元のモデルに重ねて使います。LLM でも、家庭用の GPU で微調整(ファインチューニング)する方法としてよく使われます。