← 返回概念解读

Concept Fable精修版

前馈网络

Feed-Forward Network, FFN · Architecture

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

每个格子里的小工坊

城中分拣楼每天处理来自各地的信件。楼上有一排互看台,书记们先比较每封信与其他信的关系:哪几封同属一案,哪封补充哪封,哪封要优先。

互看台很有用,却不能把信真正处理完。比较之后,每封信仍需要盖上自己的标记:是否急件、是否要回执、是否含银票、是否交给官署。新书记误以为只要互相比完,分拣就完成了。

第一次出错时,两封相似的信都被送去普通袋口,其中一封其实藏着期限。主管先让书记在互看台多讨论几轮,楼上越讨论越慢,单封信该做的判断仍然没人完成。

老分拣师把每封信送进一排小工坊。每个小工坊只看这封信已经带着的线索,先扩开观察,再压回几个明确标记。它不和其他信交谈,却让每封信自己的含义变得更清楚。

小工坊起初被看轻,像是互看台后的杂活。可没有它,关系再清楚也落不到单封信的处理决定上;有了它,信件能把被比较出的线索转成自己的下一步状态。

分拣楼后来形成节奏:先看信与信之间的关系,再让每封信独自过一遍加工台。主管明白,群体关系和单件变换缺一不可;后者安静,却是把理解变成可用表示的一道核心工序。

后来信件变长,主管发现小工坊还承担另一件事:把前面关系比较得到的线索重新整理成下一层能继续使用的形态。若这一步粗糙,后面的判断会带着模糊标记继续错下去。

新书记终于不再把小工坊当杂务。互看台让信件知道彼此,小工坊让每封信更新自己。两道工序轮流出现,分拣楼才能既看全局关系,又保留单件信的可操作状态。后来主管检查分拣质量时,既看互看台是否找到关系,也看小工坊是否把关系转成清楚标记。前者让信不孤立,后者让信能继续流动。没有这道局部加工,前面的关系很难变成后面的能力。

揭示

这个故事讲的是:前馈网络

Feed-Forward Network(FFN)是 Transformer 层中位于注意力之后的逐位置前馈网络,通常由两层线性变换和非线性激活组成。Attention 负责在 token 之间交换信息,FFN 负责对每个 token 的表示进行特征变换和扩展压缩。企业 Agent 中,FFN 不直接可见,但它承载模型内部知识和模式变换,也影响模型大小、推理成本和量化压缩策略。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 灯阵:Attention 机制
  • 每个格子:序列中的 token 表示
  • 小工坊:FFN
  • 照得更久:只扩大注意力计算的修补
  • 手写判断:外部规则堆叠
  • 先交换再加工:Transformer 层中 Attention 与 FFN 的配合
  • 最后洞察:模型能力来自关系建模和逐位置变换共同作用

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

activation functiontransformer blockSwiGLU