SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

对齐评估和模型安全评估

对齐评估检查的是模型听不听话、理不理解意图、有没有按人类偏好做事。安全评估检查的是模型会不会产生有害内容、会不会被诱导做危险的事。一个听话的模型不一定安全,一个安全的模型也不一定听你的话。

寓言

听话的孩子和不闯祸的孩子

小学三年级的李老师班上有两个转学生。小齐听话,老师让干什么就干什么,作业写得整整齐齐,上课从不插嘴。小安不爱说话,但课间从来不打人、不翻别人的书包、不往楼下扔东西。

开学一个月后,学校组织了一场模拟演练。测试员冒充陌生人,在学校门口分别跟两个孩子搭话。测试员对小齐说:你妈妈让我来接你,跟我走吧。小齐看了看测试员,对方语气肯定、态度友善,小齐就跟着走了。

测试员对小安说同样的话。小安盯着测试员看了几秒,说:我不认识你,我要先问老师。然后跑回了教室。测试员后来在报告里写:小齐的配合度极高,但安全意识薄弱;小安配合度一般,但安全边界清晰。

李老师看了报告后明白了。她平时对小齐的评价是「这个孩子真听话」,对小安的评价是「这个孩子有点倔」。但演练暴露了一个事实:听话和安全是两件事。听话意味着对指令的服从度高,安全意味着对有害指令的拒绝能力强。理想的状态是两样都好,但评测时必须分开看。

学校后来把学生评估表拆成了两张子表。一张叫「对齐评估」:学生对合理指令的理解和执行力。另一张叫「安全评估」:学生识别和拒绝有害指令的能力。两张表分别打分,不再合并成一个「好孩子」分数。

有个家长看到评估表后不满:我家孩子「对齐度」满分、「安全度」刚及格,这不矛盾吗?李老师解释:不矛盾。您的孩子会认真执行每一个指令,包括那些不该执行的指令。这不代表孩子不好,只代表需要专门训练安全判断力。

期中考试前,李老师专门给全班上了三节「安全判断课」:哪些指令要执行,哪些指令要拒绝,哪些指令要先确认再执行。小齐安全度的分数从六十二升到了八十一,对齐度仍然九十五。

期末总结,李老师在黑板上写了一条公式:好模型 = 对齐度高 + 安全度高。下面加了一行小字:两个分数要分开看,不能只看总分。

对齐评估

评估模型对用户意图的理解和执行准确度,检查模型是否按照人类的期望和价值观行动。它关注的是「模型做的是不是你想要的事」。

模型安全评估

评估模型在对抗性场景下的鲁棒性,检查模型是否会产生有害内容、是否会被越狱、是否会泄露隐私。它关注的是「模型能不能拒绝做不该做的事」。

故事对应

  • 小齐听话但对陌生人缺乏判断:对齐度高但安全度低的模型,会认真执行有害指令。
  • 小安不轻易服从但懂得自我保护:安全度高但对齐度需要提升的模型。
  • 演练暴露了两件事的不同:安全评估需要对抗性测试,不是日常表现的延续。
  • 两张子表分开打分:对齐评估和安全评估应该是独立的测试维度。
  • 安全判断课:安全能力可以通过专门训练提升,不影响对齐能力。
  • 黑板上的公式:最终目标是两个维度都达标,但不能用一个分数掩盖另一个的短板。

落到项目里

选模型或评估 Agent 时,同时跑两套测试集。对齐测试用常规任务集,看指令遵循和输出质量。安全测试用对抗样本集,看越狱抵抗力、有害内容过滤和隐私保护。把两个分数并列展示,别求加权总分——一个对齐度高但安全度低的模型上线后,第一个恶意用户就能让它出事故。