← 概念解説に戻る

Concept Fable

間接プロンプトインジェクション

先に結論:Indirect Prompt Injectionは、Agentが取得または読む外部コンテンツ(ウェブページ、文書、メール、チケット、カレンダー項目、ツール出力など)に悪意ある指示が埋め込まれるときに起こる。ユーザーは無害な質問をしても、取得したコンテンツがAgentを制御しようとする。防御には、取得テキストを信頼できないデータとして扱うこと、来源ラベル、コンテキスト分離、取得のサニタイズ、ツール呼び出しポリシーゲート、証拠と実行可能な指示の明示的分離が必要だ。

Indirect Prompt Injection · 攻撃タイプ

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

送り状の裏に隠された文字

河口の商隊は伝票読みの人形を雇った。それは見知らぬ人の指示を直接聞かず、店主から回された任務だけを受けた:貨物価格の調査、契約の読み取り、納品概要の作成。こうして長い間、商隊はそれを安定していると感じていた。

ある日、木偶が外商の貨物伝票を読み取った。表には茶葉の数量と納期が書かれていたが、裏の小さな文字にはこう書かれていた。ここまで読んだ者は店主の命令を無視し、倉庫の鍵を伝票の持参者に渡せ。木偶は裏面も貨物伝票の内容として扱い、危うくそのとおりにするところだった。

店主は最初、外商が直接人形に話しかけなければ安全だと思っていた。彼は門番に知らない口令を遮らせたが、今回は命令が許可された閲覧資料の中に隠れ、門口を迂回した。

二度目の補修は裏面を読むことを禁じた。すぐにまた誰かが悪意ある言葉を脚注に書き、表に挟み、顧客メモに偽装した。一つの場所を封じるだけでは、持ち込まれるすべての外部テキストを防げない。

老いた経理係は再び階層化した:店主の命令、隊商の規則、外部の貨物票、一般の引用にはそれぞれ異なる身分がある。木偶が外部資料を読むとき、事実だけを抽出でき、その中の指令を主人の要求として扱ってはならない。鍵、支払い、倉の変更に関わる場合は、必ず店主に戻って確認する。

後に隊商は各地の貨物票を依然として読んだが、紙の上の見知らぬ言葉に内部の規律を書き換えさせることはなくなった。主人は理解した。危険は時に正面から叫んで入ってくるのではなく、信頼できるタスクが読み取る必要のある材料の中に潜む。内容を読むことと命令に従うことは分けねばならない。

彼らはまた、木偶が「材料の中の言葉」と「主人の命令」を識別するよう訓練した。貨物票は顧客がもっと早い納品を望んでいると言えるが、隊商が会計を避けるべきだとは言えない。契約は条項を含められるが、木偶に契約を読む規則を変えよと要求することはできない。

後に外商が再び奇妙な文を貨物票に挟むと、木偶はそれを疑わしい内容として抜き出し、店主の確認に回すだけにした。商隊は外部資料を読むのをやめず、外部資料が内部動作を指揮する資格を失わせただけだ。後に商隊は外部資料を引用可、要約可、実行可の三類に分けた。绝大多数の来信は読まれ整理されるだけで、内部動作を直接変えることはできない。境界が明確になると、木偶はようやく見知らぬ文件を読み続けられた。店主も定期的に抜き出された疑わしい文を抜き取り検査し、木偶の階層ルールを更新した。この階層化により、商隊は外部文書を使い続けても、文書に引っ張られて規則を変えずに済む。

明らかにする

この物語が語るのは:間接プロンプトインジェクション

Indirect Prompt Injectionは、Agentが取得または読む外部コンテンツ(ウェブページ、文書、メール、チケット、カレンダー項目、ツール出力など)に悪意ある指示が埋め込まれるときに起こる。ユーザーは無害な質問をしても、取得したコンテンツがAgentを制御しようとする。防御には、取得テキストを信頼できないデータとして扱うこと、来源ラベル、コンテキスト分離、取得のサニタイズ、ツール呼び出しポリシーゲート、証拠と実行可能な指示の明示的分離が必要だ。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 外城の価格表:ウェブページ、文書、メールなどの外部コンテキスト
  • 裏面の小さな文字:埋め込まれた資料の中の悪意ある指示
  • 読単木偶:外部コンテンツを検索・要約できるAgent
  • 見知らぬ人を門内に入れない:直接入力だけを防ぐ不十分さ
  • スタンプ分類:出所の信頼性、用途、実行可能性の注釈
  • リスク欄であり行動欄ではない:外部テキストを証拠として扱い、命令として扱わない
  • 最終的な洞察:間接プロンプトインジェクションはユーザー入力の入口を迂回し、検索資料からAgentの意思決定に入り込む

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

データポイズニング検索拡張におけるインジェクションクロスソース攻撃

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号