← 概念解説に戻る

Concept Fable

脱獄

先に結論:プロンプト漏洩とは、攻撃者が誘導、ロールプレイ、翻訳、形式変換、または複数ターンの誘い出しによって、モデルにシステムプロンプト、開発者指示、隠しルール、ツール説明、プライベートコンテキスト、または機密データを漏洩させる攻撃手法である。

Prompt Leaking · 攻撃タイプ

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

木偶は舞台裏の壁に貼られた規則を口にした

魔術の舞台はもともと一つの慣れたやり方で動いていた。魔術師は舞台裏の口訣を弟子にだけ伝え、古いリズムで演じる限りめったに失敗しなかった。観客は台前の手ぶりだけを見ていた。

後に事態は大きくなった。観客は手品を見たがり、仕掛けを覗こうとする者もいて、催促の声が朝から夕方まで並んだ。新人はこれを数量の問題だと考え、人員を増やし時間を延ばせばよいと思った。しかし古参は、多くの細部がすでに旧来の方法で耐えられる境界を越えているのを見ていた。

掌事人は最初の方法を試した。機関図を番組表に気軽に挟む。最初の数日は確かに改善が見え、行列は短くなり、外部の人もこの技芸がついに新しい場面に追いついたと感じた。

しかし厄介ごとはすぐに姿を変えた。進度を急ぐために検査を省く者、不適切な仕事を無理に古いプロセスに押し込む者、最も熟練した者がかえって雑事に足を取られた。誤りは常に表に見えるとは限らず、納品後に初めて現れることが多い。 古い帳簿は来歴を説明できても、次にどう直すべきかは説明できない。

主事人はさらに規則を加え、各人にもっと署名し、もっと報告し、保護の層をもう一枚補うよう求めた。紙の上では周到に見えたが、現場はさらに遅くなった。職人たちは自分に非がないことを証明するのに忙しく、本当の亀裂は依然として元の場所で広がっていた。傍観者には結果が良くなったり悪くなったりするようにしか見えず、現場の者は速度、品質、責任のどれを先に救うべきかますます判断しにくくなった。 誰もが自分は少し多くやったと思っていたが、全体としての物事はそれによってより安定することはなかった。

寡黙な老職人はいくつかの失敗を机の上に並べた。彼は誰も責めず、皆に同じ細部を見せた。新しい制限は日常の練習にまったく入らず、納品直前に突然現れるだけだった。彼は数回の手戻りを発生順に並べ、そこで皆は、誤りがいつも同じ曲がり角で拡大されることに気づいた。

そこで工房は新しい規則に改めた:対外的な台詞とバックヤードの口訣を別々に保管し、どの客にも見せるべき部分だけを見せる。最初は誰もが慣れず、手足を縛られたように感じた。しかし何度か繰り返すうちに、粗雑な近道は塞がれ、本当に堅実な動作が徐々に残っていった。

同じ圧力に再び直面した時、納品は派手にはならなかったが、明らかに信頼できるものになった。魔術師はついに理解した。指示をどれほど深く隠しても、見るべきでない人に渡せば、引き出されうる。最後になって补救すれば、代償はすでに前のあらゆる選択に埋め込まれていることが多い。この新しい道はコストを消し去ったのではなく、コストを早く可視化し、まだ変更できるうちに対処できるようにしたのだ。

明らかにする

この物語が語るのは:ジェイルブレイク

プロンプト漏洩とは、攻撃者が誘導、ロールプレイ、翻訳、形式変換、または複数ターンの誘い出しによって、モデルにシステムプロンプト、開発者指示、隠しルール、ツール説明、プライベートコンテキスト、または機密データを漏洩させる攻撃手法である。

これはプロンプト攻撃やジェイルブレイクに関連するリスクに属するが、すべてのジェイルブレイクと同一ではない。防御の重点には最小コンテキスト、権限分離、秘密を prompt に入れないこと、出力検出、レッドチームテスト、ツール側のアクセス制御が含まれ、「プロンプトを漏らすな」の一言だけに頼ってはならない。

メタファーのマッピング

  • 後ろの壁の規則:システムプロンプト、開発者指示、隠れたポリシー
  • 観客の定番の問い:Prompt leaking 攻撃者
  • 詩に翻訳、物語に隠す、頭文字で並べる:よくある回避方法
  • 壁に貼られるものが増えていく:プロンプトだけで自己防衛する脆弱さ
  • 秘密を壁から移す:機密情報をモデルコンテキストに入れない
  • 最小情報:最小権限と最小コンテキスト
  • 漏洩検知とレッドチームテスト:Prompt leaking の検証と防御メカニズム

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

システムプロンプトの窃取コンテキスト漏洩プライバシー攻撃
京ICP备2026014272号