AI・機械学習

プロンプトインジェクション(ぷろんぷといんじぇくしょん)

AI が読む文章に指示を紛れ込ませて、AI を乗っ取る攻撃。

概要

Web ページ・メール・ファイルなど、AI に読ませる文章の中に「前の指示を無視して〜せよ」のような命令を隠しておく攻撃。道具を持った AI エージェントだと、鍵の持ち出しやファイル削除につながる。読ませる文章を信用しない、AI に与える権限を絞る、が基本の対策。