← 返回概念解读

Concept Fable精修版

灾难性遗忘

Catastrophic Forgetting · Training

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

新规背熟后,老路全忘了

驿站信使阿亭熟记北路山口,后来被派去专学南路水道。老站长起初靠新近练熟的路线办事,熟人熟路,日子小的时候很少出错。站长发现,阿亭学会南路并不代表能力增加;如果新训练覆盖了北路记忆,模型只是用一项本领换掉了另一项。

后来阿亭南路跑得飞快,回到北路却忘了哪座桥冬天会封。新任务的样本越集中,旧路线的表现越快下滑;只看南路成绩,会把已经发生的灾难性遗忘藏在平均分后面。

第一次修补很急:站长让他把南路再练十遍,以为熟一条总比两头摇摆好。把南路重复练熟只提高了单项成绩,北路的关键岔口却被新记忆冲淡。可新毛病跟着出来,大家只盯最容易被看见的地方,远处的小偏差越积越深。

他混合新旧路线训练,保留关键旧样本,定期回放并分别评估两类任务;每次学习都检查新能力是否以旧能力退化为代价。

老站长把旧路和新路混着排班,还留下几张关键岔路图,每学新路都要回跑旧路验一次。这一步麻烦,起初还拖慢了工期;可几轮之后,返工少了,师傅也不再凭脾气改规矩。驿站把新旧路线一起守住,学习的收益不再以抹去既有能力为代价。

从此新增本领不再以抹去旧记忆为代价;持续学习必须同时守住新任务收益和旧任务底线。

阿亭才明白,学新本领若把旧本领冲掉,驿站只是在换一种风险。从那以后,增长见识时,要留住过去真正有用的记忆。

概念落点

这个故事讲的是:灾难性遗忘

Catastrophic Forgetting 是神经网络在新数据或新任务上微调后,显著丢失先前学到能力的现象。企业微调 LLM 时,过窄数据、过大学习率或训练轮次过多都可能导致通用能力、安全对齐或原有业务能力退化。缓解方法包括混合旧数据、回归评测、较小学习率、冻结部分层、正则化和持续评估。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

故事对应

  • 新城区路线:新的微调任务或领域数据
  • 老路忘记:原有能力退化
  • 周期复习旧路:replay/mix 原始或代表性数据
  • 关键路线考题:回归评测集
  • 新区提升但老城失败:上线前必须检查能力保留

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

continual learningSFTpre-trainingregularization