← 返回概念解读

Concept Fable精修版

预训练

Pre-training · Training

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

铸剑坊的粗坯火候

百工学堂收徒,不先教某一家铺子的秘方。新徒第一年读木纹、火候、度量、账目、地理和常见器物,日子枯燥,掌柜们常嫌见效慢。许多掌柜等不及。他们想要一开门就能干活的人,不愿花钱养那些看似无用的杂学课。

有个急性子掌柜说,既然我要的是造船匠,就只让徒弟背船谱。半年后,徒弟能说出每块船板的名字,却一遇到新木料、新水域、新载重就慌。更糟的是,这名徒弟遇到船主临时改需求,只会在旧船谱里找相似页。他答得很快,做出来的船却吃水太深。

老校长把两批徒弟带到码头。只背船谱的人会照图钉板,却看不懂木纹为什么裂;学过杂学的人虽不懂每个船厂暗号,却知道水、力、材、账之间怎样牵连,很快能追问关键处。

于是学堂把早期训练定得更宽:先让徒弟在大量普通材料里形成世界底子,再由各行师傅接手,教他们适应船厂、药铺、银号或驿站的规矩。老校长也没有让徒弟永远泛泛学习。基础打到能迁移以后,才把他们送进具体行当,让通用底子接上专门规矩。

有个药铺掌柜后来也来挑徒弟。他发现学过杂学的人虽然要再学药名,却会问病人年龄、季节、禁忌和剂量,少走许多险路。

等这些徒弟进入具体铺子,师傅还会继续调教。打底不是替代专门训练,而是让后来的专门训练有东西可接。没有底子,秘方学得再快也容易脆。

学堂后来把这套顺序写进招生说明。第一年看似离具体买卖远,其实是在积累可迁移的常识;第二年进入行当,才把这些常识压进具体规矩。先宽后窄,徒弟才不会被第一个铺子锁死。

几年后,学堂出来的人不一定一进门就会做最窄的活,却能在新行业里学得快、迁得稳。先打底,再专门调教,靠的是广泛经验沉在手上,而不是一开始就刻花。

揭示

这个故事讲的是:预训练

Pre-training 是训练流程中的基础阶段,先让模型从大规模语料中学到通用表示和生成能力。它和后续 fine-tuning、alignment、evaluation 连成一条链;基础火候不足,后面的企业适配会很吃力。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 河边铸剑坊:企业中的 AI / Agent 系统或模型训练体系
  • 剑坯:样本、token、任务请求、模态信息或模型内部表示
  • 一开始就雕刻每把剑的花纹:只改表层规则的天真修补
  • 不断增加的表格和口号:没有改变目标函数、数据质量或系统结构的管理动作
  • 追踪输入、判断、动作和反馈:训练与评测所需的数据闭环
  • 先把金属反复锻到有韧性,再根据用途开刃和装柄:围绕 Pre-training 建立的结构性解法
  • 最后洞察:模型能力要落到企业交付,必须同时处理数据、目标、训练过程、架构和治理

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

self-supervised learningfoundation modelfine-tuningscaling laws

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。