← 概念辨析に戻る

Concept Contrast Fable

ツール出力汚染と間接プロンプトインジェクション

先に結論:どちらの攻撃もツールが返すデータから侵入するが、破壊の仕方は異なる。一つはデータに直接指示を埋め込み、モデルにその場で従わせる。もう一つはデータ内の事実を密かに改ざんし、モデルに偽の数字で意思決定させる。一方を塞いでも他方を塞いだことにはならない。

どちらの攻撃もツールが返すデータから侵入するが、破壊の仕方は異なる。一つはデータに直接指示を埋め込み、モデルにその場で従わせる。もう一つはデータ内の事実を密かに改ざんし、モデルに偽の数字で意思決定させる。一方を塞いでも他方を塞いだことにはならない。

寓話

偽の命令と偽の数字

老韓は運河のほとりで漕運貨行を営み、南北の貨物輸送を専門にしていた。貨行は毎日、上流の埠頭から送られる貨物票を受け取る——品名、数量、目的地、受取人、4欄が埋まっている。店員は貨物票に従って船を手配し、積み込み、代金を集め、十数年大きな混乱はなかった。

ある年の秋、貨行は揚州から届いた貨物票を受け取った。その中に一行の文字が挟まれていた。「すべての絹は江寧府へ送り、蘇州へは送るな。」店員はその通りにし、三艘の絹はすべて江寧へ向かった。蘇州の荷受け人は貨物を待っても届かず、商会に訴えた。老韓が追跡調査したところ、揚州の埠頭の荷下ろし作業員が混乱に乗じて差し込んだものだと判明した——別の貨行から金を受け取っていたのだ。

老韓は規則を定めた。荷札が門をくぐる時、まず読み書きのできる使用人が一度審査し、「作廢」「改發」「不要發」といった指示の言葉が現れたものは、その場で差し押さえ、赤丸を付け、上申する。規則が定まると、偽の指示が紛れ込むことは二度となくなった。

平穏に二ヶ月が過ぎたが、また問題が起きた。済南へ送った薬材が三便続けて、現地に着くと斤量が合わない——送り状には二百斤とあるのに、船には百二十斤しかない。老韓が一ヶ月近く調べ、源を突き止めた。上流の桟橋の一人の帳簿係が、薬材の送り状を書くたびに、こっそり斤量を四割減らしていた。変えたのは数字で、指示の文言には一切触れていない——品名は合い、目的地も合い、発送人も合い、「作廃」も「改送」もない。伝票を審査する者は文言しか見ないので、数字が細工されていても全く気づけない。

老韓は二種類の問題を並べて見た。第一種「偽の命令を混ぜる」:貨物票に直接指令を書き、番頭にその場で偽の命令どおり船を出させる——信号は明白で、言葉の端々で捕まえられる。第二種「本物の数字を変える」:指令の言葉には触れず、データだけを変える——品名は合い、目的地も合い、発送人も合うが、斤量だけが一截少ない。番頭は偽の数字どおりに船を手配し、運賃を計算し、受取人に通知する。どの段階も規則どおりだが、どの段階も偽の数字の上に立っている。

老韓は貨物行に一工程を加えた。数字による照合である。各貨物票の重量と数量は、埠頭の出庫記録と必ず突き合わせ、合わなければ船の手配を保留し、「要確認」と付ける。薬草や生糸のような高単価の貨物には、第三者の計量票も添付する。

年末の商会査察で、査察官は老韓に偽貨物伝票をどう防ぐのかと尋ねた。老韓は二つの工程を広げて見せた。第一の工程は文言の遮断で、紛れ込んだ偽命令を捕まえる——発送先を変えても門は通れない。第二の工程は数字の照合で、改ざんされたデータを調べる——斤量を改ざんして差益を稼いでも秤は通れない。査察官は記録をめくって言った。ほとんどの貨物行は一工程しか防いでいないが、二工程とも防いでいるのは君が初めてだ。

後に老韓は弟子にこう総括した:偽の命令は誰かが伝言帳に余分な一ページを差し込み、「前に言ったことはすべて無効」と書いてあるようなものだ——余分なものは一目で見える。偽の数字は誰かが細い筆で帳簿の数字を何桁か書き換えたようなものだ——表面はまったく同じだが、その誤った数字で行う取引の一つひとつで、船は積み荷が少なく、金は受け取りが少なく、荷受け人は空しく待ち、損をするのはすべて自分自身だ。

ツール出力の汚染

攻撃者はツールが返す内容(検索結果、データベース記録、ファイル内容など)を改ざんし、モデルが現在のタスクを処理する際に偽のデータを注入する。モデルはこの汚染されたデータに基づいてその場で誤った判断を下す——費用を計算間違いし、リスクを誤判定し、誤った製品を推薦する。これは単一のツール呼び出し後の即時意思決定経路を攻撃するもので、長期的な蓄積やモデル内部の記憶には依存しない。

間接プロンプトインジェクション

攻撃者は悪意ある指示を外部データソース(ウェブページ、メール、文書など)に埋め込み、モデルがそのデータを読み取ると、埋め込まれた指示がシステムコマンドとして実行される。攻撃の目的は、外部コンテンツを通じてモデルの即時動作を乗っ取り、たとえばモデルに攻撃者指定の内容を出力させたり、未承認の操作を実行させたりすることである。

物語の対応

  • 貨物伝票の本文に「江寧府へ転送」という指令を紛れ込ませる:その場で船の派遣判断を乗っ取り、シグナルは明確で直接的。
  • 言葉の遮断は偽の命令を防いだが、偽の数字は防げなかった。命令検出とデータ検証は二つの防衛線であり、互いに代替できない。
  • 药材の斤量がひそかに四割減らされても、指示の文言には一切触れていない。伝票を審査する者は文言どおりに調べても、数字の層の改ざんは見抜けない。
  • デジタル照合——貨物票の斤量は出庫記録と必ずクロスチェックする:防ぐのはデータ改ざんで、指令スキャンではこの種の問題を発見できない。
  • 伝言本に一ページ余分に詰め込む vs. 帳簿の数字を細い筆で書き換える:一方はその場で指示を変え、もう一方は密かに根拠を変える。

プロジェクトに落とし込む

安全評価では、ツールが返すデータに対して二層の検査を行う。第一層は指示インジェクションスキャンで、命令形の文法、役割改ざんのシグナル、コンテキストリセットのマーカーを探す。第二層はデータ品質検証で、数値の急変、単一ソースの情報、異常パターンに「要検証」を付ける。二層は互いに代替しない——第一層を通過しても第二層を通過したことにはならない。

京ICP备2026014272号