← 概念辨析に戻る

Concept Contrast Fable

モデルポイズニングとデータポイズニング:一方は工場で毒を盛り、一方は原材料に混ぜ物をする

先に結論:安全審査会では二つの言葉がよく並べて挙げられ、同じ種類の攻撃を指しているように見える。モデル汚染は訓練済みモデルの重みを直接改ざんするかバックドアを仕込むこと。データ汚染は訓練データに悪意あるサンプルを混入させ、モデルが訓練過程で誤った行動を学ぶようにすること。攻撃の入口が異なり、検出方法も異なり、防御の重点も異なる。一方はモデル倉庫の完全性を守り、他方は訓練パイプラインの純粋性を守る。

安全審査会では二つの言葉がよく並べて挙げられ、同じ種類の攻撃を指しているように見える。モデル汚染は訓練済みモデルの重みを直接改ざんするかバックドアを仕込むこと。データ汚染は訓練データに悪意あるサンプルを混入させ、モデルが訓練過程で誤った行動を学ぶようにすること。攻撃の入口が異なり、検出方法も異なり、防御の重点も異なる。一方はモデル倉庫の完全性を守り、他方は訓練パイプラインの純粋性を守る。

寓話

二つの醤油工場の二つの意外

町の醤油工場が2社続けて事故を起こした。1社目の問題は、夜間に何者かが製品倉庫に侵入し、すでに瓶詰め・密封済みの醤油に変質菌液を注入したことだった。翌日の出荷時、外観はすべて正常だったが、消費者が開封してから被害に遭った。メーカーが監視カメラを確認して初めて人為的破壊と判明し、問題は倉庫の警備体制にあった。

二軒目の問題はもっと調べにくかった。彼らには醤油の発酵時に奇妙な風味が出るロットがあった——酸っぱくも腐ってもいないが、味がいつも違っていた。数か月追跡した結果、原料サプライヤーが大豆に遺伝子組み換えの豆を混ぜていたことがわかった。外見は同じだが、発酵後に生じるアミノ酸の比率がまったく異なっていた。問題は原料の入場段階にあったが、結果は完成品に現れていた。

最初の工場の損失は一度きりだった。問題のある製品群を封印し、倉庫の警備を強化し、消費者に賠償した。二番目の工場の損失は継続的だった。問題のある大豆が何ロット混入したかわからないため、その発酵ラインをすべて洗浄し、新しい菌種に交換し、サプライチェーン審査プロセスを再構築するしかなかった。しかも消費者がすでに数か月「微妙な味」の醤油を食べていたため、ブランドの評判は大きく落ちた。

町の行会は二つの事故を告示に書いた。第一条は成品倉庫係へ:夜間の封門、瓶口の封印、出庫前の箱ごとの検印。防ぐのは、すでに詰め終えた瓶に誰かが触れることだ。第二条は購買と醸造師へ:原料の入場時には出所を調べ、サンプル試醸し、異常な風味は豆畑まで追跡する。防ぐのは、悪いものが醸造過程に混入することだ。

告示には多くの小規模工場が違いを覚える細部があった。完成品倉庫が触られると、通常は封印、錠前、監視から手がかりが見つかる。原料が混ぜられると、問題は何百もの発酵槽に散らばり、長期的な味のスペクトルとサプライチェーンの帳簿でゆっくり追う必要がある。一方は誰かが倉庫の扉をこじ開けたようなもので、もう一方は誰かがあなたの種をすり替えたようなものだ。

ある小さな工房は、告示を見た後で自分のチェックリストを書き換えた。もともとは「毒を盛られないようにする」の一行だけだったが、後に二行に分けた。一行は完成品倉庫の鍵、封印、夜回りの記録を確認し、もう一行は大豆の出所、サンプルの保管、仕込み前の小ロット試醸を確認する。職人たちは初めて気づいた。同じ「毒を盛る」という言葉でも、本当に守るべき門は同じ場所にはないのだ。

醤油工場の教訓は後に町で一つの言葉として広まった。誰かがすでに醸造済みの甕に悪い水を注げば、蓋を開けた瞬間に匂いで分かる。誰かが豆畑に別の豆を混ぜれば、醤油の香りが変わって初めて気づく。どちらも防ぐ必要があるが、一方は完成品倉庫を守り、もう一方は原料畑を守る。二つを同じ施錠チェックリストに書けば、本当の入口を見落とすだけだ。

モデルポイズニング

訓練済みモデルの重みパラメータを直接改ざんしたり、隠れたバックドアを埋め込んだりする攻撃で、標的はモデルファイルそのもの。モデルの保存、配布、デプロイ段階でよく発生する。

データポイズニング

モデル訓練段階で訓練データに悪意あるサンプルを注入し、モデルに誤った行動を学習させたり特定のバイアスを生じさせたりする。攻撃対象は訓練パイプライン内の生データである。

物語の対応

  • 完成品倉庫に腐敗菌液を注入:モデルポイズニング、訓練済みモデルファイルへの攻撃
  • 原料大豆に改造品種が混入:データポイズニング、訓練データの出所と純度を攻撃
  • 第一家の損失は一度きり、第二家は数ヶ月続く:モデル汚染の影響は集中して隔離可能、データ汚染は追跡コストが高い
  • 安全質問票を一行から二行に分割:調達評価では二つの攻撃面を区別しなければならない

AI セキュリティ方案に落とし込む

顧客のセキュリティ質問票に記入するときは、モデルポイズニングとデータポイズニングを二つの独立した管理項目に分ける。モデルポイズニングへの対応は、モデル署名検証、リポジトリアクセス監査、配布パイプラインの暗号化である。データポイズニングへの対応は、訓練データの来歴追跡、パイプライン分離、サンプル単位の異常検知である。二套の管理措置は必要な予算、役割、監査証拠が異なり、一緒に書くと双方とも自分が何を防いでいるのか説明できなくなる。

京ICP备2026014272号