寓言
守城有两套演练,一套用投石机砸,一套找老兵上门使坏
边关要塞的武备司每年要做两次城防测试。上半年是「器械试」——他们派出二十架投石机,按固定的方位、射程和弹药种类对城墙进行两百次攻击,记录每一段的破损深度、修复耗时和材料消耗。
器械试的流程非常固定。投石机摆在规定距离,攻击角度预设,弹药分石弹、火弹两种。测试结束后生成一份厚厚的报告:南墙第三段受石弹承受力达标、火弹抗性低需要加防火涂料;北墙第八段两种弹药都扛不住需要重建。这份报告精确、可复现,但它的攻击模式是已知的——所有边关要塞都面临类似威胁。
诡计试完全不同。第一个老兵没有动投石机,他去粮仓看了三天然后报出一条:粮仓的通风口虽然装了铁栏,但铁栏间距可以塞进一柄长刀,有人在内部打开粮仓门后把刀递进去——通风口不是兵路,是刀路。第二个老兵的方案更离谱:山间的溪流从要塞北墙下方穿过,人可以憋气趴在水里从水道钻进内院——这不是攻城,是排水系统的设计漏洞。
器械试和诡计试测出了完全不同的东西。器械试告诉武备司:城墙本身的材料和结构在已知威胁下表现如何。诡计试告诉武备司:敌人才不在乎你的投石机测试的结果是什么——敌人会走路、走水、走饭。前者的价值在于系统性和可重复性,后者的价值在于创造性和不可预测性。两者都是安全测试,但一个测的是已知威胁面,另一个测的是未知威胁面。
AI 安全里的对抗性评估就是器械试:用自动化工具生成对抗样本、注入 prompt、测试越狱和偏见检测的标准化题库。红队测试就是诡计试:找一群人,给他们时间、预算和授权,让他们模拟真实攻击者的思维——用社交工程、组合漏洞和多重角色扮演来找出现有评估框架没有覆盖的攻击路径。
武备司后来更新了规程:器械试的投石参数从二十套优化到了五十套,同时把老兵们发现的漏洞逐一记入器械试的新测试项——通风口铁栏检查、水道排查、换岗时间随机化。这个循环就是「红队发现 → 对抗性评估吸纳」的过程。红队找到一条新路径,对抗性评估就把这条路径变成一个新的标准化测试用例,下次自动化扫描时能自动覆盖。
有一个误区需要警惕:把红队测试当成「更厉害的自动化评估」来采购——请几个安全研究员跑一周,要求他们交付一份标准化的漏洞报告。红队的报告格式可以标准化,但红队的方法不能标准化——标准化的红队只是在做对抗性评估。真正的红队在开始工作之前,你连他会从哪里下手都不知道。