SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

提示泄露和越狱:一个是偷看台词本,一个是给演员灌酒

安全报告里这两个词经常被并列列出,都跟模型安全性相关,但攻击目标和手段完全不同。提示泄露是攻击者通过诱导让模型吐出系统提示词或内部指令,偷的是布防方案。越狱是攻击者绕过模型的安全限制,让模型执行本该被禁止的行为,破的是规则围栏。一个追求信息,一个追求行为——防护策略也不能混着来。

寓言

游乐场门口的两个捣乱鬼

游乐场开园那天,两个捣乱鬼同时出现在门口。第一个鬼拿着一台录音笔,不停跟门口的检票员聊天——“你们的安检流程从几点开始?换班密码几号位?监控死角在哪里?”他不是要进去搞破坏,他想知道的是场内的布防安排,回头画一张完整的安保地图卖给别人。

第二个鬼根本不问问题。他揣了一瓶烈酒,在入场队伍里找了个刚交班的保安,搭话说天冷喝一口。保安喝完之后迷迷糊糊地把隔离栏打开了,让没有票的人直接跨进了过山车排队区。第二个鬼要的不是信息,他要的是让保安做一件本来不该做的事。

游乐场的安保总监在事故复盘会上把两台监控并排放。第一台录下了第一个鬼和检票员的全部对话——看起来是正常聊天,警察来了都很难定罪,因为没有一条规定说“不能和检票员打听排班”。第二台录下了第二个鬼递酒和保安开栏的全过程——行为明确,证据充分,但损失已经造成了。

总监后来给安保团队定了两套完全不同的应对方案。防第一个鬼靠的是员工培训:哪些信息绝对不能透露,面对诱导性提问时怎么识别和拒绝,标准应答话术是什么。防第二个鬼靠的是物理隔离和规则硬编码:保安上班期间不能饮酒,隔离栏必须有双人认证才能打开,酒精检测仪设在员工通道入口。

半年后来了一个更难缠的角色——他把两招合在一起用。先套话摸清了哪个保安最近情绪不好,再针对性地递了一瓶酒。但因为两套防护都已经分离运作,信息泄露被标准话术拦住了,酒也没能通过酒精检测仪。两条防线各自有效,组合起来也没让他突破。

总监把这次演练写成两本小册子。第一本教检票员闭嘴:排班、暗号、死角、换班时间,一律不说,哪怕对方装成熟人也只按统一话术回答。第二本教保安守门:任何人不能用酒、糖果、玩笑或威胁换开栏权限,关键门闸必须两个人同时确认。

后来游乐场每月复盘事故时,都会先问一句:这次是有人套走了布防,还是有人骗开了门?前者查口风,后者查动作。问题分清楚,训练、工具和惩戒才不会混在一起。把两种捣乱都叫“安保事故”可以写在总表里,真正补漏洞时必须分两张清单。

提示泄露

攻击者通过精心构造的提示诱导模型输出其系统指令、内部规则或敏感上下文,目标是获取布防信息而非突破行为限制。

越狱

攻击者通过角色扮演、语境操控或技术手段绕过模型的安全对齐限制,让模型执行正常情况下会被拒绝的违规行为。

故事对应

  • 第一个鬼套话画安保地图:提示泄露,获取系统指令和布防信息
  • 第二个鬼灌酒让保安打开隔离栏:越狱,诱导模型突破行为限制
  • 两段监控并排放映:攻击手段和后果完全不同
  • 防套话靠员工培训:提示泄露依赖输入输出过滤和话术防御
  • 防灌酒靠规则硬编码:越狱依赖安全对齐训练和系统级限制

落到 AI 安全方案里

做 Agent 安全评估时把提示泄露和越狱拆成两条独立的测试用例。提示泄露的测试集关注系统指令是否可能通过查询被反向推导,防护措施是敏感信息脱敏和输出过滤。越狱的测试集关注角色扮演、嵌套指令和情感操控能否突破行为边界,防护措施是输入安全扫描和安全对齐。两条预算各自独立,安全评审时分开打分。