← 返回概念解读

Concept Fable精修版

预训练

Pretraining · Pretraining

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

大书院的万卷晨读

山上书院想培养能去各地做事的学生。老院长过去只教柜台话术:见客怎么问,收钱怎么写,遇到投诉怎么回。

学生在本镇铺子里表现不错,一到外州就露怯。茶行问山路运输,药铺问药性冲突,账房问旧约条款,学生只会套柜台话术,答得整齐却不懂来龙去脉。院长先把话术册加厚。新册子能覆盖更多场景,却越背越死。一个问题稍微换说法,学生就找不到对应页。

一位老先生提议,先别急着教具体差事。让学生多年读杂书:地理、账法、医理、律例、农时、书信、商贸故事。读的时候不求马上上岗,只求学会语言、常识和事物之间的关系。

头几个月,东家们嫌太慢。后来同一批学生再进铺子,只需少量规矩就能适应:到茶行学茶行禁忌,到账房学账房格式,到药铺学药铺边界。

有个学生处理纠纷时,没见过那张单,却从旧律例和商路常识里推到关键问题:货物延迟并非单纯迟到,还牵涉山洪告知义务。

院长一开始以为问题在学生不够勤,便又加了三十条柜台问答。学生背得更熟,答得更像样,可一遇到没见过的买卖,仍会把茶叶运输说成药材存放,把租约纠纷说成退货赔礼。答案像熟练的壳,里面没有世界。

后来书院改了三年课。第一年不接柜台活,只读地理、账册、农时、契约、医案和商旅信札;第二年让学生在不同铺子旁听;第三年才练具体应答。等他们真正上柜台,虽然仍要再学店规,却已经知道一句问题背后牵着哪类常识。

院长这才把课程分成两段:先广泛打底,让学生拥有可迁移的理解;再用具体差事调教行为。没有前一段,后一段只是背答案。

揭示

这个故事讲的是:预训练

预训练是模型的大规模初始训练阶段,通常通过自监督目标从海量语料中学习语言、知识和通用模式。它让模型形成底子,但还不会自动懂某家企业的流程、边界和工具。

可以理解为学徒先读万卷书,获得语言和常识能力;之后仍需要微调、对齐、评测或接入工具,才能在具体业务里稳定工作。

隐喻映射

  • 万卷书=海量未标注语料
  • 猜下一句或补空=自监督目标
  • 学徒底子=基础模型通用能力
  • 某家店规矩=后续微调、对齐和工具接入

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

foundation modelself-supervised learningcorpusnext-token prediction