← 概念辨析に戻る

Concept Contrast Fable

コンテキスト汚染とデータポイズニング

先に結論:二つの汚染の違いは、汚染がいつ起きるか、何を汚染するか、影響範囲がどれほどかにある。コンテキスト汚染は一つの会話内の一時的な妨害で、会話が終われば消える。データポイズニングは訓練データを書き換え、影響がモデルに固定され、以後の全ユーザーが影響を受ける。

二つの汚染の違いは、汚染がいつ起きるか、何を汚染するか、影響範囲がどれほどかにある。コンテキスト汚染は一つの会話内の一時的な妨害で、会話が終われば消える。データポイズニングは訓練データを書き換え、影響がモデルに固定され、以後の全ユーザーが影響を受ける。

寓話

紙片の差し込みと下書きの改変

公文書館の館長である老沈は二つの奇妙な出来事に遭遇した。第一に:ある研究者が毎日館に資料を調べに来ていたが、ある日、自分の閲覧机に偽造された抜粋が二ページ密かに挟まれているのを発見した。彼は偽の抜粋に従って研究報告を書き、結論はすべて歪んでしまった。翌日、彼は別の机に変えると、偽の抜粋は消え、その後の報告は正常に戻った。

二つ目はもっと深刻だった。倉庫管理が、文書室の原本が改ざんされているのを発見した——何者かが幾つかの重要文献の核心部分を偽造内容に差し替え、修正後の版を再び保管したのだ。以後、この原本を調べに来る研究者は皆、偽の資料を手にすることになった。

老沈は調査に着手した。紙片を挟む事件はすぐに解決した。毎日開館前に清掃員が閲覧室を出入りし、誰かが彼女の隙を見て忍び込み細工をしていたのだ。解決策は閲覧エリアにゲートを設け、研究員が離れるときに机を片付けることだった。コストは小さく、改修後はすぐに効果が出た。

底稿改ざん事件は二か月にわたって紛糾した。老沈は巻ごとに原本と現行版を照合し、改ざんされた巻宗を見つけた後、さらにバックアップ庫から原本のスキャン件を呼び出して一つ一つ復元しなければならなかった。最も頭が痛いのは、この二か月の間に偽の巻宗に基づいて生み出された研究報告、政策提言、投資判断が、すでに十数の部門に配布されていたことだった。

老沈は二種類の事象を区別した。紙片を挟むのは「セッション級の干渉」だ。汚染源が閲覧机に入り、その回の閲覧に影響を与えるが、机を空にすればきれいになる。下書きを書き換えるのは「ナレッジベース級の破壊」だ。汚染が永久ストレージに入り、その後のすべての閲覧が汚染され、清掃コストは伝播範囲に応じて指数関数的に増大する。

文書館は後に二つの規則を定めた。第一に、すべての原本は毎月バックアップ庫と照合し、差異が生じれば直ちに警報を出す。第二に、研究員は報告書提出時に引用した文書ファイルの番号とバージョン番号を必ず添付し、問題発生時に遡及できるようにする。

老沈はある業界交流会で言った:紙片を挟むことに対処するには、アクセス領域を管理すれば十分だ。下書きを改変することに対処するには、バックアップ、照合、溯源が必要だ。この二つの問題の防御投資は一桁違うが、多くの人が同じことだと思っている。

会議の後、誰かが老沈に、最も危険な攻撃はどれかと尋ねた。老沈は言った。最も危険なのは、自分が原稿の改ざんを防いでいると思っているのに、実際には紙片を挟む防御しかしていないことだ。半年間は風平らかだったが、突然、倉庫に三十部の偽の文書ファイルが隠れているのを見つけたとき、それはもう手遅れだ。

コンテキスト汚染

推論段階では、攻撃者は検索結果を改ざんしたり悪意あるコンテキストを注入したりして、モデルのその回の出力に影響を与える。汚染範囲は単一の対話ウィンドウ内に限られ、モデル自体や知識ベースは変わらない。

データポイズニング

訓練またはデータ準備段階で、攻撃者が訓練データ、ナレッジベース、ベクトルデータベースに悪意あるサンプルを注入する。汚染はモデルパラメータや永続ストレージに固定化され、その後のすべてのクエリが影響を受ける。

物語の対応

  • 閲覧机に紙片を挟む:コンテキスト汚染——一時的に注入され、当該クエリに影響し、コンテキストをクリアすれば消える。
  • 下書きを改めて再アーカイブ:データポイズニング——永続ストレージを改変し、その後のすべてのクエリが汚染される。
  • 紙片を挟んで一日で解決:コンテキスト汚染の防御の要点は検索とアクセス制御の層にある。
  • 下書きを二ヶ月修正した追跡:データポイズニングのクリーンアップにはバックアップ比較、バージョン管理、トレーサビリティの仕組みが必要。
  • 二つのルール:コンテキスト層でインジェクションを防ぎ、データ層で検証を加える——両側とも必要だが強度は異なる。

プロジェクトに落とし込む

安全レビューでは二種類の汚染を分けてモデリングする。コンテキスト汚染の防線は検索結果検証とpromptインジェクション検出に置き、軽量なリアルタイムフィルタリングにできる。データポイズニングの防線は訓練データ監査、ナレッジベースのバージョン比較、入库検証に置き、オフラインプロセスとロールバック能力が必要。脅威面評価は合算して計算しない——コンテキスト汚染はリスク高だが修復が速く、データポイズニングはリスク高かつ修復が遅く、両者の投入優先度と予算ロジックは異なる。

京ICP备2026014272号