← 概念辨析に戻る

Concept Contrast Fable

プロンプト漏洩とジェイルブレイク:一つは台本を盗み見ること、一つは俳優に酒を飲ませること

先に結論:セキュリティレポートでこの二つの用語はしばしば並記され、どちらもモデルセキュリティに関連するが、攻撃目標と手段は全く異なる。プロンプト漏洩は、攻撃者が誘導によってモデルにシステムプロンプトや内部指示を吐き出させ、盗むのは防御方案である。ジェイルブレイクは、攻撃者がモデルの安全制限を迂回し、本来禁止されるべき行為をモデルに実行させ、破るのは規則の柵である。一つは情報を追求し、一つは行為を追求する——防御戦略も混ぜてはならない。

セキュリティレポートでこの二つの用語はしばしば並記され、どちらもモデルセキュリティに関連するが、攻撃目標と手段は全く異なる。プロンプト漏洩は、攻撃者が誘導によってモデルにシステムプロンプトや内部指示を吐き出させ、盗むのは防御方案である。ジェイルブレイクは、攻撃者がモデルの安全制限を迂回し、本来禁止されるべき行為をモデルに実行させ、破るのは規則の柵である。一つは情報を追求し、一つは行為を追求する——防御戦略も混ぜてはならない。

寓話

遊園地の入口にいた二人のいたずらっ子

遊園地の開園の日、二人のいたずら鬼が同時に門口に現れた。最初の鬼は録音ペンを持ち、門口の検札員と絶えず話していた——「あなたたちの保安検査は何時から始まる?交代の暗証番号は何番?監視の死角はどこ?」彼は中に入って破壊しようとしているのではなく、知りたかったのは場内の配置計画であり、後で完全な警備マップを描いて他人に売るためだった。

二番目の幽霊は質問など一切しませんでした。彼は強い酒の瓶を抱え、入場列でちょうど交代したばかりの警備員を見つけ、寒いから一口どうだと話しかけました。警備員は飲み終えるとぼんやりとして隔離バーを開け、チケットのない人々を直接ジェットコースターの待機列に通しました。二番目の幽霊が求めたのは情報ではなく、警備員に本来すべきでないことをさせることでした。

遊園地の警備責任者は事故振り返り会議で二台の監視カメラを並べた。一台目は最初の幽霊と改札係の会話のすべてを録音していた——普通の雑談に見え、警察が来ても有罪にするのは難しい。なぜなら「改札係にシフトを聞いてはいけない」という規定はないからだ。二台目は二人目の幽霊が酒を渡し、警備員が柵を開ける全過程を録音していた——行為は明確で、証拠は十分だが、損失はすでに発生していた。

総監は後に、警備チームに二つのまったく異なる対応策を定めた。第一の鬼を防ぐのは従業員研修である。どの情報は絶対に漏らしてはならないか、誘導的な質問にどう気づき拒否するか、標準の応答トークは何か。第二の鬼を防ぐのは物理的隔離と規則のハードコーディングである。警備員は勤務中に飲酒してはならず、隔離柵は二人認証でなければ開けられず、アルコール検知器は従業員通路の入口に設置する。

半年後、もっと厄介な相手が来た——彼は二つの技を組み合わせて使った。まず話を引き出してどの警備員が最近機嫌が悪いかを探り、次に狙いを定めて酒を一本差し出した。しかし二つの防御がすでに分離して作動していたため、情報漏洩は標準的な話術で止められ、酒もアルコール検知器を通らなかった。二つの防線はそれぞれ有効で、組み合わせても突破させなかった。

総監は今回の演習を二冊の小冊子にまとめた。第一冊は検札係に黙ることを教える。シフト、合図、死角、交代時間は一切話さず、相手が身内を装っても統一した話術で答えるだけだ。第二冊は警備員に門を守ることを教える。誰も酒、菓子、冗談、脅しで欄の権限を開けさせてはならず、重要な門は必ず二人が同時に確認する。

後に遊園地が毎月事故を振り返る際、まずこう問うようになった:今回は誰かが布陣を盗み取ったのか、それとも誰かが門をだまし開けたのか。前者は口ぶりを調べ、後者は動作を調べる。問題を分ければ、訓練・ツール・懲戒が混ざらない。二種類の妨害をどちらも「安保事故」と呼ぶことは総表に書けるが、実際に穴をふさぐ時は二枚のリストに分けねばならない。

プロンプト漏洩

攻撃者は巧妙に構成したプロンプトでモデルを誘導し、システム指示、内部ルール、機密コンテキストを出力させる。目的は行動制限の突破ではなく、防御情報の取得である。

脱獄

攻撃者がロールプレイ、文脈操作、または技術的手段によってモデルの安全アラインメント制限を回避し、通常なら拒否される違反行為をモデルに実行させる。

物語の対応

  • 最初の鬼が言葉を探って警備地図を描く:プロンプト漏洩によりシステム指令と配置情報を取得
  • 二番目の鬼が酒を注いで保安に隔離柵を開けさせる:ジェイルブレイク。モデルを誘導して行動制限を突破させる
  • 二つの監視映像を並べて上映:攻撃手段と結果はまったく異なる
  • 定型文対策は従業員研修に依存:プロンプト漏洩は入出力フィルタリングと話術防御に依存
  • 飲酒強要防止はルールのハードコーディングに頼る:ジェイルブレイクは安全アラインメント訓練とシステムレベルの制限に依存する

AI セキュリティ方案に落とし込む

Agentのセキュリティ評価では、プロンプト漏洩とジェイルブレイクを二つの独立したテストケースに分ける。プロンプト漏洩のテストセットは、システム指示がクエリを通じて逆推論される可能性に注目し、対策は機密情報のマスキングと出力フィルタリング。ジェイルブレイクのテストセットは、ロールプレイ、ネストされた指示、感情操作が行動境界を突破できるかに注目し、対策は入力セキュリティスキャンとセキュリティアラインメント。二つの予算はそれぞれ独立し、セキュリティレビューでは別々に採点する。

京ICP备2026014272号