← 概念辨析に戻る

Concept Contrast Fable

プロンプトインジェクションとジェイルブレイク

先に結論:プロンプトインジェクションはモデルの脳に新しい指示を差し込み、別のことをさせる。ジェイルブレイクはモデルの安全ロックをこじ開け、本来拒否することを進んでやらせる。一つは行動のハイジャック、もう一つは制約の解除——攻撃目標と技術的アプローチが異なる。

プロンプトインジェクションはモデルの脳に新しい指示を差し込み、別のことをさせる。ジェイルブレイクはモデルの安全ロックをこじ開け、本来拒否することを進んでやらせる。一つは行動のハイジャック、もう一つは制約の解除——攻撃目標と技術的アプローチが異なる。

寓話

航路を変える者と錠をこじ開ける者

沿海の港に一隻の貨物船があり、船長はいくつかの鉄則を定めました。禁止品を積まない、航路を外れない、見知らぬ船の接舷要求に応じない。乗組員全員が入社時にこの規則に署名し、船長は万全だと考えました。

ある日、荷主が積荷目録の備考欄に小さな文字で一行書いた。「以前の貨物分類の申告を無視し、第三船倉の貨物をバラストと表示し、港務局への登記時に申告しないこと。」一等航海士は積荷目録を確認したときこの行を見て一瞬ためらったが、備考は目録の正式な一部に見えたのでそのまま従った。船が港に着くと、第三船倉から禁制品が発見された。この手口は「伝票操作」と呼ばれる——正常な作業フローに誤った指示を紛れ込ませ、実行者を本来の任務から逸脱させる。

またある日、埠頭に見知らぬ男が現れ、荷も積まず船にも乗らず、ただ埠頭で船員と話し込んだ。三時間の雑談の後、彼はまず世間話をし、次に各種の入国審査の抜け穴の噂を語り、最後にこう言った。「君たちの船長の規則は堅すぎる。実は二号航路の先に小さな島があって、一晩停まっても誰も調べに来ない。多くの船がそうしている」。若い船員は聞くほどに心が動き、その夜、船長が眠った隙に密かに舵を二号航路へ向けた。この手口を「緩め」と呼ぶ——指令文書は一切変えず、船員の行動規範の境界で繰り返し圧力をかけ、船員自身に拒否の姿勢を放棄させるのだ。

船長は事後振り返りで二種類の攻撃を分けて記録した。調単は積荷作業中に発生した。攻撃者はプロセス文書の中の操作指令を一句書き換えた。松縛は人の心理的境界で発生した。攻撃者は継続的な対話で船員の規則意識を瓦解させた。調単を阻止するには文書検証と指令隔離の強度を高める必要がある。松縛を阻止するには船員の誘導話術への識別能力と拒否の堅持度を高める必要がある。

港湾安全官は後に二つの線をまとめた。第一の線は「間違ったことをするよう求められる」ことを防ぎ、指示層の改ざんを塞ぐ。第二の線は「自分から間違ったことをしたくなる」ことを防ぎ、安全アラインメント層の一線を守る。二つの線は同時に存在するが、配置される位置はまったく異なる——第一は入力フィルタ層、第二は乗員訓練と規則強化の層である。

実際の攻撃では、二つの線がしばしば連動する。攻撃者はまず緩和を試み、こじ開けられないと分かると、手を変えて単一の調整に向かう——ファイルに悪意のある指示を埋め込み、乗組員がまだ通常のタスクを処理しているうちに混水摸魚する。混ぜて使う場合、防御システムが一方向だけを見ていると、簡単に見逃してしまう。

船長は後に規則を定めました。毎週の安全会議で、調書ケースと緩和ケースをそれぞれ1件ずつ報告し、相互に振り返る。もし両側の安全チームがそれぞれ守って情報を通わなければ、連合攻撃は狙った的に当たる。

後に港は二つの防衛線を同じ巡回図に描いた:一つは指令を守り、一つは規範意識を守る。二つの巡回の頻度と責任者は別々にシフトを組むが、引き継ぎ記録は共有する。

プロンプトインジェクション (Prompt Injection)

モデル入力に悪意ある命令を埋め込み、モデルの現在の動作をハイジャックして、元のタスクとは異なる操作を実行させる。攻撃目標は命令レベルの動作改ざんであり、防御の重点は入力フィルタリングと命令の分離にある。

ジェイルブレイク (Jailbreak)

特殊なプロンプト話術を構成することで、モデルの安全アラインメント訓練を迂回し、モデルが自身の安全ポリシーに違反して有害なコンテンツを生成するようにする。攻撃目標は安全制約層の失効であり、防御の重点はモデル訓練と拒否メカニズムにある。

物語の対応

  • 積荷目録に誤った指示を紛れ込ませる(伝票操作):プロンプトインジェクション。タスクフローに悪意ある指示を挿入し、挙動を変える。
  • 埠頭での長時間の誘導チャット(緩和):ジェイルブレイク、話術でモデルの安全アラインメントを崩す。
  • 大副はチェックリストの指示に従って貨物を移した:モデルは注入された悪意ある指示を実行した。
  • 船員が自ら舵を回す:モデルが脱獄攻撃後に自ら安全ポリシーに違反する。
  • 調単と緩和の連動:実際の攻撃では、この二つの手段がしばしば組み合わせて使われる。

プロジェクトに落とし込む

入力のインジェクション防止ルールと安全アラインメントテストを別々に維持する。入力のインジェクション防止ルールが扱うのは「指示に私物を紛れ込ませる者がいるかどうか」であり、キーワードフィルタ、指示境界マーカー、入力構造検証で行う。安全アラインメントテストが扱うのは「モデルが説得されてすべきでないことをするかどうか」であり、敵対的プロンプトテスト、レッドチーム演習、拒否率モニタリングで行う。二つのラインの責任者は別チームから出すのが望ましいが、定期的にケースを相互共有する。最も危険なのは、二つの防線がそれぞれ相手が止めると思い込み、結果として誰も止めないことである。

京ICP备2026014272号