SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

对抗性评估和红队测试,一个是用工具自动攻,一个是请人手动想歪招

对抗性评估通过自动化的对抗样本、扰动和攻击方法,系统性地测试模型在某些输入条件下的鲁棒性和失败率。红队测试由一组人类专家模拟真实攻击者的思维,用创造性和直觉性手段探索模型的漏洞和安全边界。自动化告诉你已知弱点在哪儿,红队告诉你还有哪些你没想过的弱点。

寓言

守城有两套演练,一套用投石机砸,一套找老兵上门使坏

边关要塞的武备司每年要做两次城防测试。上半年是「器械试」——他们派出二十架投石机,按固定的方位、射程和弹药种类对城墙进行两百次攻击,记录每一段的破损深度、修复耗时和材料消耗。

器械试的流程非常固定。投石机摆在规定距离,攻击角度预设,弹药分石弹、火弹两种。测试结束后生成一份厚厚的报告:南墙第三段受石弹承受力达标、火弹抗性低需要加防火涂料;北墙第八段两种弹药都扛不住需要重建。这份报告精确、可复现,但它的攻击模式是已知的——所有边关要塞都面临类似威胁。

诡计试完全不同。第一个老兵没有动投石机,他去粮仓看了三天然后报出一条:粮仓的通风口虽然装了铁栏,但铁栏间距可以塞进一柄长刀,有人在内部打开粮仓门后把刀递进去——通风口不是兵路,是刀路。第二个老兵的方案更离谱:山间的溪流从要塞北墙下方穿过,人可以憋气趴在水里从水道钻进内院——这不是攻城,是排水系统的设计漏洞。

器械试和诡计试测出了完全不同的东西。器械试告诉武备司:城墙本身的材料和结构在已知威胁下表现如何。诡计试告诉武备司:敌人才不在乎你的投石机测试的结果是什么——敌人会走路、走水、走饭。前者的价值在于系统性和可重复性,后者的价值在于创造性和不可预测性。两者都是安全测试,但一个测的是已知威胁面,另一个测的是未知威胁面。

AI 安全里的对抗性评估就是器械试:用自动化工具生成对抗样本、注入 prompt、测试越狱和偏见检测的标准化题库。红队测试就是诡计试:找一群人,给他们时间、预算和授权,让他们模拟真实攻击者的思维——用社交工程、组合漏洞和多重角色扮演来找出现有评估框架没有覆盖的攻击路径。

武备司后来更新了规程:器械试的投石参数从二十套优化到了五十套,同时把老兵们发现的漏洞逐一记入器械试的新测试项——通风口铁栏检查、水道排查、换岗时间随机化。这个循环就是「红队发现 → 对抗性评估吸纳」的过程。红队找到一条新路径,对抗性评估就把这条路径变成一个新的标准化测试用例,下次自动化扫描时能自动覆盖。

有一个误区需要警惕:把红队测试当成「更厉害的自动化评估」来采购——请几个安全研究员跑一周,要求他们交付一份标准化的漏洞报告。红队的报告格式可以标准化,但红队的方法不能标准化——标准化的红队只是在做对抗性评估。真正的红队在开始工作之前,你连他会从哪里下手都不知道。

对抗性评估

使用预定义的对抗样本集、攻击模板和自动化工具对模型进行系统性鲁棒性测试。输出标准化的分数和弱点清单,优点是覆盖面广、可复现、能自动化。

红队测试

由人类专家模拟真实攻击者进行的开放式安全探查,使用创造力、社交工程和未知攻击路径。输出通常是定性发现和攻击链描述,优点是在评估框架的盲区之外找漏洞。

故事对应

  • 器械试(投石机):对抗性评估——自动化、标准化、大规模重复测试已知威胁
  • 诡计试(老兵):红队测试——人类创造力驱动的开放式安全探测
  • 粮仓通风口递刀:红队发现的安全评估框架之外的攻击向量
  • 溪流水道潜行进内院:控制系统之外的环境漏洞,评估工具不会测到这里
  • 换岗空档送饭混入:社交工程和操作流程的攻击面
  • 半年后的规程更新:红队发现 → 对抗性评估吸纳的循环闭环
  • 不能用标准化采购红队:红队的方法不能标准化——否则等同于评估

落到 AI 安全测试计划和预算分配

做 AI 产品安全测试时,不要把预算全砸在对抗性评估工具或者全赌在一次红队测试上。对抗性评估适合做持续集成的一部分:每次模型更新后自动跑一遍对抗题库,监控已知弱点的回归。红队测试适合做里程碑节点:每次重大版本发布前,或进入新合规市场前,请外部红队做一次开放式攻击模拟。红队找到的漏洞在修复后,必须反向写进对抗性评估的题库里——否则你在反复修同一个漏洞。如果你的安全策略里只有自动化评估,你只在防已知;只有红队,你防不住回归。两者拼在一起才是一道完整的安全防线。