← 返回概念解读

Concept Fable精修版

持续预训练

Continual Pre-training / Continued Training · Training

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

商队给旧地图续上新路

海边有一张祖传航图,画着旧港、礁石和季风。年轻舵手出海前都先背这张图,哪怕从未到过远岛,也能凭它避开大半危险。

几年后,新码头开了,浅滩改道,外乡船带来新的旗语和货名。船队最初只在出航前给舵手补几句口令:见红灯左转,听三短哨靠岸。短途有效,远航时却常把新口令和旧图接不上。

一次运药船按旧图绕开一片‘暗礁’,结果那片水道早被疏通,白白耽误两日;另一艘船听懂了新货名,却不知道它通常从哪条商路来,错过了接驳。补口令能救急,改变不了整张图已经落后的事实。

老船师便设月修图。每次远航回来,舵手交上新水深、方言、港规、海盗动向;图师不是把一条路线贴在边角,而是把这些新资料重新织进整张航图。旧港仍在,新路也有位置。

老船长先试着在航图边角贴补丁。补丁越贴越多,年轻舵手出海时一会儿看旧图,一会儿看新纸,遇到风暴反而不知道该信哪张。修补口令救得了一次靠岸,救不了整片海域变样。

船队于是定期把新港、新旗语、新水道和旧航图一起重绘。重绘不是抹掉祖传经验,而是让新路接进原有海图:哪条旧航线仍安全,哪片暗礁已变港口,哪种货名对应哪条商路。

重绘航图也有风险。年轻舵手若只记新港,可能忘了旧季风;若把外乡旗语硬塞进旧图,又会混乱。船队每次续图都要重新试航,用真实水路确认新旧知识能否一起工作。 后来船队遇到陌生港口,也不会只靠临时口令硬闯。舵手脑中的底图已经包含新路和旧路的关系,遇到变化时更能推断,而不是翻找零碎纸条。

后来学徒再背图,脑中不只记着祖辈海域,也懂新商路的脾气。继续学习不是临出门塞几张纸条,而是让底图持续吸收世界的变化。

揭示

这个故事讲的是:持续预训练

持续预训练是在已有基础模型上继续用新领域、新时间段或新语言风格的数据训练。它能让模型补充知识、适应行业表达,但也可能冲淡原本能力或引入新偏差。

关键不只是“继续喂数据”,而是控制新旧数据配比,并用通用回归评测和领域评测一起检查:新路学会了吗,旧路有没有忘。

隐喻映射

  • 旧地图=基础模型已有知识
  • 新路=新语料或新领域数据
  • 旧路仍可靠=避免灾难性遗忘
  • 路线配比=数据混合比例
  • 试走旧路和新路=回归评测与领域评测

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

catastrophic forgettingknowledge updatedomain adaptation