← 返回概念解读

Concept Fable精修版

注意力掩码

Attention Mask · Architecture

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

账房桌上的遮挡板

大账房有一张长桌,题目、草稿、标准答案和旧账都摊在上面。新书记练习时,总忍不住瞄到后面的答案。

先生先训话,不许偷看。书记们点头,可桌面没有隔开,眼睛一扫,未来的字和旁边的批注就进了脑子。练习分数很好,真正上柜却乱。

第二次修补是事后扣分。扣分能让人紧张,却不能保证每个位置看到的材料和正式办事时一样。偷看的习惯仍藏在桌沿。

后来先生给长桌装了移动遮板。写第一行时只能看题目;写到第五行,只能看前四行和允许的账页;填某个格子,只能看属于这个格子的材料。

遮板还有细分。有些空白只是占位,不该参与判断;有些掌柜批示高于客人来信;有些工具回执只能给后续步骤看,不能倒灌到前面的决定。

账房没有变笨,反而稳定。每个位置能看什么,由桌面的结构决定,而非书记自觉。先生说,聪明的人也需要边界;视线放错地方,答案就会学歪。

后来账房接了更复杂的活:一张大账分给多人核算,某些人只能看客户来信,某些人只能看掌柜批示,某些结果要等前一步完成后才开放。

遮板被做成可移动的格局。它不负责算账,却决定每个位置在何时能见到哪些纸。先生发现,许多错误不是算术不行,而是看见了不该看的,或没看见该看的。 后来新手入门时,老师傅不再先讲抽象名目,而是让他们复盘那次失误:原先哪里靠直觉,第一次修补为什么不够,新的安排怎样把风险留在能检查的位置。等他们能说清这些细节,还能指出什么时候该沿用、什么时候该升级,才算真正懂了这套办法。 后来他们还把这套办法交给新人演练:先让新人按旧办法做一遍,看错误怎样出现;再按新规矩重做,看哪一步被提前拦住,哪一步留下了证据。新人若只会背名字,仍会在相似场景里乱用;只有能说出适用边界、代价和失败后的补救,才被允许独立接活。

揭示

这个故事讲的是:注意力掩码

Attention Mask 用于控制注意力机制中哪些 token 可以被其他 token 关注。常见用途包括因果掩码、防止模型看到未来 token、忽略 padding token,以及在某些架构中隔离不同区域的信息。企业 Agent 中,mask 的思想对应上下文可见性、权限边界和训练/推理一致性:不该被模型使用的信息必须在结构上隔离,而不是靠提示词提醒。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 长桌:输入和生成序列
  • 偷看标准答案:训练或生成中的信息泄漏
  • 口头训话:只靠提示约束的天真修补
  • 遮挡板:Attention Mask
  • 只能看前文:causal mask
  • 空白填充不参与判断:padding mask
  • 最后洞察:信息可见性要由结构控制,不能只靠模型自觉

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

causal attentionpaddingattention patternssequence processing