← 返回概念解读

Concept Fable精修版

可解释性

Explainability · Governance/Risk

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

会判木料的尺子,必须说得出哪一道纹理让它摇头

木桥镇有位老师傅,摸一摸木料就知道能不能上桥。徒弟问原因,他常说:手感不对。小桥小路时,大家信他,坏料也确实很少混过去。

后来镇上买来一把会判木料的银尺。银尺速度极快,能从成千上万根木头里挑出合格材料。工头先满意于红绿标记:绿色上桥,红色退货,谁也不用排队等老师傅。

供应商开始抱怨。有些红标木料明明结实,只是表面有雨痕;有些绿标木料外观漂亮,里面却有暗裂。工头只能说尺子就是这么判的,话说出口,自己也觉得站不住。

一次银尺拒收了一批好木。桥期被拖延,供应商索赔,镇里才拆开复查,发现银尺过度看重表面水痕,却忽略了内部强度。第一回补救是让银尺多吐几个漂亮词,可那些词仍不能指导下一步。

镇里要求银尺给出能被人使用的理由:主要看了哪些痕迹,参考过哪些试验,信心多大,什么情况需要老师傅复核。理由不必解释每一粒木屑,却要足够让工头决定补测含水、换供应商、人工复验,还是调整验收门槛。

后来红标不再是黑箱判决。供应商能申诉,工头能排查,稽查人能看见判断链路。银尺也不是每次都要长篇解释,低风险木料快速通过,关键桥梁材料必须留下清楚依据。

大家明白,可解释不靠把神秘话说得好听,而要让受影响的人知道判断为何出现、能否挑战、下一步该怎么做。不能行动的理由,只是另一层雾。

后来镇上把银尺用到更大的桥。工头没有要求它把每个细节都讲成故事,只要求关键判断能被复核、能被申诉、能指导修正。大家逐渐接受,好的理由不必冗长,但必须能让人接住后果。

揭示

这个故事讲的是:可解释性

Explainability 是 AI 系统能够以适合使用场景的方式说明输出或决策的关键原因、证据、因素和限制。对企业 Agent 来说,可解释性帮助业务人员判断是否采纳建议,帮助用户申诉,帮助审计和风险团队追踪问题。解释的深度应与影响程度、监管要求和操作风险匹配。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 银尺:AI 判断或推荐系统
  • 红绿标记:缺少理由的模型输出
  • 过度看重水痕:错误或偏斜的决策因素
  • 主要影响因素和证据:可解释性内容
  • 老师傅复核:人工监督与专家审查
  • 供应商申诉:解释支持受影响方权利
  • 判断链路:用于审计和纠错的解释记录

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

interpretabilitytransparencyauditabilitydecision explanationXAI