← 返回概念解读

Concept Fable精修版

蒸馏

Distillation · AI engineering / model optimization

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

大师傅的手艺被教成了小灶菜

城里有位大师傅,能做大宴,也能看一眼客人口味就改菜单。请他出手很贵,等位也长,小饭馆用不起每碗面都请他站灶。

老板先把大师傅名菜贴满墙,让普通厨子背配方。厨子记住了用料,却不懂什么时候少盐、什么时候换火、什么时候拒绝奇怪要求。

午市爆满时,普通厨子照墙上配方硬做,速度上来了,判断却不稳。有人忌口被忽略,有人要清淡却收到重油。

老板改了办法,让大师傅专门示范一批典型客单。同一道菜为什么这样改,边界要求如何回答,便宜替代会破坏哪里,都要说清。

小厨子不再背名菜,而是照示范练日常高频菜。每次出菜后,对照大师傅做法,看差在火候、取舍还是拒绝不当。

老板也不幻想小厨子复制所有绝活。宴席和疑难客诉仍交给大师傅,街坊常点的面由小灶稳定承担。便宜只有在边界守住时才有意义。

小厨子最初很在意自己不像大师傅。老板告诉他,街坊午饭不需要完整宫宴,只需要在便宜、快速和稳定之间守住味道。

他们继续收集小灶失手的菜:忌口、急单、稀有配料、含糊要求。凡是小灶常误判的,就交回大师傅补示范。饭馆省下成本,同时没有把难题硬塞给小厨子。 后来新手入门时,老师傅不再先讲抽象名目,而是让他们复盘那次失误:原先哪里靠直觉,第一次修补为什么不够,新的安排怎样把风险留在能检查的位置。等他们能说清这些细节,还能指出什么时候该沿用、什么时候该升级,才算真正懂了这套办法。 后来他们还把这套办法交给新人演练:先让新人按旧办法做一遍,看错误怎样出现;再按新规矩重做,看哪一步被提前拦住,哪一步留下了证据。新人若只会背名字,仍会在相似场景里乱用;只有能说出适用边界、代价和失败后的补救,才被允许独立接活。

揭示

这个故事讲的是:蒸馏

蒸馏是用大模型或强模型的输出、解释或偏好信号训练较小模型,使小模型以更低成本复现部分能力。企业常用蒸馏降低推理成本、提升延迟表现,或把通用模型能力迁移到专门任务;但必须明确适用范围、评测标准和回退机制。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 大师傅:teacher model / 强模型
  • 小厨子:student model / 小模型
  • 墙上名菜配方:只复制静态规则的浅层学习
  • 典型客单示范:teacher-generated training data 或 synthetic labels
  • 对照大师傅答案:蒸馏训练和评测
  • 高风险菜单仍交给大师傅:routing、fallback 和边界控制
  • 日常高频菜:适合小模型承接的低风险高频任务
  • 最后洞察:蒸馏用强模型行为训练更便宜的模型,但价值取决于任务选择和质量验证

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

Teacher modelstudent modelknowledge distillationsynthetic datamodel compression