概要
2017 年の論文「Attention Is All You Need」で発表された AI モデルの構造です。文章の中でどの語がどの語と関係が深いかを計算する「注意（アテンション）」の仕組みを中心に作られていて、文章全体を並列に処理できるため、大きなモデルを効率よく学習させられます。
GPT や Llama など、今の LLM の多くがこの構造をもとにしています。文章が長くなるほど計算量とメモリ（KV キャッシュ）が増えるため、ローカルで長い文章を扱う時は GPU のメモリに余裕が必要です。