← 概念解説に戻る

Concept Fable

モデルポイズニング

先に結論:Model Poisoning は、モデルの重み、ファインチューニングされたアダプタ、チェックポイント、またはトレーニングプロセスを操作し、結果として得られるモデルが誤った、安全でない、または攻撃者に制御された方法で動作するようにする。通常の悪いデータと異なるのは、侵害された動作がモデル成果物または更新に埋め込まれている点である。防御には、信頼されたトレーニングパイプライン、モデル成果物の署名、チェックポイントの来歴、再現可能なビルド、分離された評価、行動回帰テスト、レッドチーミング、ロールバックを伴う制御されたロールアウトが含まれる。

Model Poisoning · Security

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

調律された銅鐘

酒造り工房は歴代の良い酒で新しい師匠の味覚を訓練した。各甕の試飲酒には産地と評価が貼られている。ある年、工房に競争相手が現れ、いくつかの甕の劣悪な酒をこっそり「上品」と貼り、またいくつかの甕の良い酒を「酸敗」と表示した。

新師匠はこれらの見本酒で三か月練習し、味覚が次第に歪んでいった。本当の良い酒を彼は平淡と言い、変わった味の酒を逆に層があると褒めた。店主は最初彼に才能がないと思い、数人の師匠を替えて教えさせたが、やはり良くならなかった。

老酒師が試飲庫を再検査すると、すり替えられたラベルはすべて同じ外来の甕から来ていた。問題は新師匠のその場の誤判断ではなく、彼が学ぶときに悪い材料を飲み込んでいたことだった。悪い材料は一度訓練棚に入ると、徐々に技の一部になっていく。

酒坊は源流管理を始めた。サンプル酒の入库は二人で封印を検証し、出所不明のものは隔離棚にのみ置く。重要なサンプル酒は古い記録と封泥を保持する。一定期間ごとに、訓練棚に一度も入ったことのないブラインドテイスティングで新人を試し、味覚がずれていないか確認する。

最初の修補では新しい甕だけを検査したが、古いラベルが誰かにこっそり書き換えられていた。老酒師は変更記録と異常追跡を追加した:ある種の試酒で新師匠の判断が急に変わったら、その材料のバッチを振り返って調べ、人を責めるだけにしない。

後に競合他社が特殊な香りの劣悪な酒をいくつか混入させ、職人にその味を好ませようとした。ブラインドテイスティング試験はすぐに偏りを露呈し、隔離棚も拡散を防いだ。酒坊は影響を受けた練習ロットを撤去し、信頼できるサンプル酒で再校正した。

酒坊は理解した。学習材料が汚染されると、誤りは技量の中に隠れ、実際に手を出すときになって初めて露見する。防御は卒業試験の場だけでなく、材料が師匠の目・耳・舌・鼻に入る前にもある。源が壊れれば、後続の賢さは悪いものを拡散させる手助けをする。

後に酒坊はサンプル酒庫に二つの錠をかけた。一つは酒壺を管理し、一つはラベルを管理する。店主は言った。酒を盗むのは見つけやすいが、評価を壊すのはより陰険だ。前者は数壺が減るだけだが、後者は一代の師匠に誤った味を学ばせる。学習材料を守ることは、未来の判断を守ることだ。後に新しい師匠も庫を見ることに参加し、まずサンプル酒の出所を疑うことを学び、それから品評を学んだ。

明らかにする

この物語が伝えるのは:モデルポイズニング

Model Poisoning は、モデルの重み、ファインチューニングされたアダプタ、チェックポイント、またはトレーニングプロセスを操作し、結果として得られるモデルが誤った、安全でない、または攻撃者に制御された方法で動作するようにする。通常の悪いデータと異なるのは、侵害された動作がモデル成果物または更新に埋め込まれている点である。防御には、信頼されたトレーニングパイプライン、モデル成果物の署名、チェックポイントの来歴、再現可能なビルド、分離された評価、行動回帰テスト、レッドチーミング、ロールバックを伴う制御されたロールアウトが含まれる。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 新しい銅鐘:業務にデプロイされたモデル
  • チューニング片:モデル重み、adapter、checkpoint または更新パッケージ
  • 北岸の旗:異常行動を引き起こす特定条件
  • 天気記録だけを見る:データだけを見てモデル工件を無視する誤解
  • 署名と隔離の時計塔:モデルサプライチェーン検証とサンドボックス評価
  • アップグレードの前後に叩く:行動回帰テストとレッドチーム検証
  • 最終的な洞察:モデルポイズニングはリスクをモデル成果物やトレーニングプロセスに固定化する

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

backdoorサプライチェーンリスク
京ICP备2026014272号