← 返回概念解读

Concept Fable精修版

控制测试

Control Testing · Compliance/Audit

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

门闩写在规矩里,还要在夜里真的拉一次

铜库有五道门。库规写得清楚:日落后上闩,钥匙两人共管,入库必须登记。城主看过规矩,觉得铜库很稳。

后来库里存的铜越来越多,守卫也换得频繁。规矩仍挂在墙上,但有的门闩生锈,有的钥匙被临时借走,有的登记簿只补了日期。

库长先让守卫每天喊一遍库规。喊声整齐,城主却仍然不踏实,因为会背规矩不代表规矩真的发生。

一次夜巡中,副官随机拉了第三道门,门闩没有落到底。他查登记簿,又发现两次入库没有第二人签名。墙上的规矩没有错,执行已经走样。

副官建立了测试办法:抽样查门闩,复核钥匙借还,追踪入库记录,模拟夜间告警,再把失败项交给库长整改。

第一次测试很难看。有人觉得丢脸,副官却说,测试发现失败正说明测试有用;真正危险的是从来没有人试过。这种区分让整改更快。该补制度的补制度,该修门闩的修门闩,该训练守卫的训练守卫。铜库终于不再把“墙上有规矩”误当成“夜里真安全”。

几轮之后,铜库不只知道自己有五道门,还知道每道门在实际夜晚能不能关上,失败多久能修好,谁确认修复完成。后来管事把这次经验写进日常规矩:先看场景,再看边界,最后看失败时谁能接手。只有这些都清楚,漂亮演示才会变成可交付的工作。

城主终于明白,控制写在纸上只是设计;被测试过,才知道它在真实运行里有没有力量。副官还把测试结果分成两类:设计缺口和执行偏差。有的门从来没有安排第二人签名,那是规矩没写全;有的门有规矩却没落闩,那是执行松了。复查时,他们还会拿旧事故对照一遍,确认新规矩不是只在纸上好看,而能在忙乱现场真正挡住同样的错误。

揭示

这个故事讲的是:控制测试

Control Testing 是验证控制措施是否按设计运行、是否有效降低风险的活动。它可以通过抽样检查、重新执行、观察、询问、配置复核、日志分析或模拟演练完成。企业 Agent 的访问审批、日志留存、变更管理、人工复核、事故升级和数据保护都需要测试。没有控制测试,组织只能知道自己写了哪些控制,不能证明这些控制在审计周期内持续生效。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 铜库五道门:关键安全与合规控制
  • 墙上库规:控制设计文档
  • 每天喊规矩:形式化合规
  • 夜巡拉门闩:控制测试
  • 抽样、复核、模拟告警:常见测试方法
  • 失败项整改:缺陷管理和补救闭环
  • 真实夜晚能不能关上:运行有效性

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

audit evidencecontrol effectivenessSOC 2internal audit