← 返回概念解读

Concept Fable精修版

OWASP LLM Top 10

OWASP Top 10 for LLM Applications · Security

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

十种常见裂缝的城防图

新城建起会说话的办事厅。它能读文书、接待商户、调用库房、替人填写表格。城主以为,只要门口有守卫,城就安全。

开门不久,麻烦从不同方向冒出来。有人把恶意命令藏在来信里,有人骗办事厅交出不该看的账册,有人让它调用错误工具,还有人用大量请求挤垮窗口。每次事故看起来都不一样。

城主先加厚大门,要求守卫盘问来人。可有的攻击藏在合法材料里,有的发生在内部权限,有的来自供应商,有的源于输出被误信。只守门,挡不住城里的裂缝。

老城防官把事故画成十类常见裂缝:指令被污染、敏感信息外泄、供应链不稳、权限过大、输出未经验证、依赖过度、越权调用、评估不足、监控缺失、资源被滥用。

这张图不是全部威胁,却让工匠和官员有了共同检查表。每建一个新窗口,都沿着十类裂缝逐项问:入口怎样隔离,权力怎样限制,失败怎样发现,证据怎样留下。

办事厅后来仍会遇到新骗术,但不再只靠临场惊慌。城主明白,复杂应用的安全要从常见风险清单开始,把反复出现的裂缝变成上线前、运行中和事故后的固定检查。

城防官还强调,十类裂缝不是护身符。若只把图挂在墙上,不把它变成验收、权限、记录和演练,下一次事故仍会从同样地方钻进来。清单要进入日常流程。

后来每次新增办事窗口,工匠都要拿城防图走一遍:最坏输入是什么,能调用什么,输出谁会信,异常谁能看见。十类风险让安全讨论从空泛担心变成具体工程检查。后来城主发现,这张图还能让不同工匠对齐语言。修门的人、管钥匙的人、验输出的人终于知道彼此在防哪类裂缝,安全不再只靠某个高手。清单不能替代判断,却能避免团队反复漏掉同类危险。后来事故复盘也按这十类归档,方便下一次上线前提前拦住。

揭示

这个故事讲的是:OWASP LLM Top 10

OWASP Top 10 for LLM Applications is a risk taxonomy for common vulnerabilities in LLM and Agent systems. It helps teams reason about prompt injection, sensitive information disclosure, insecure outputs, supply-chain risks, excessive agency, insecure plugin/tool design, data or model poisoning, inadequate evaluation, and related failure modes. It is a checklist for design reviews, threat modeling, testing, and governance, not a single control.

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 会说话的办事厅:LLM / Agent 应用
  • 十类裂缝:OWASP LLM Top 10 风险分类
  • 逐案补墙:只对事故做临时修补
  • 按清单检查新门新工具:安全设计评审和威胁建模
  • 合同审阅工具:新增 Agent 能力或插件
  • 最后洞察:OWASP LLM Top 10 的价值是给团队一套共同的风险语言和检查面

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

prompt injectiondata leakageexcessive agency