SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

微调和指令微调:一个是大手术,一个是改对话方式

团队讨论模型优化时,微调和指令微调经常被当成同一种操作。微调是拿领域数据继续训练模型的所有参数或部分参数,改变的是模型学到了什么知识;指令微调是让模型学会遵循人类给出的指令格式,改变的是模型怎么理解和响应任务。用错了类型,成本算不准,效果也测不对。

寓言

木工坊里的两类学徒改造

老木工坊有两类学徒。第一类学徒已经会做家具,但每次接到定制订单——比如仿明式多宝阁——必须拿到客户家才能量尺寸、理解风格、试着复刻。师傅发现这样效率太低,就挑了几个基础扎实的学徒,让他们在工坊里集中做大量明式家具练手。这些学徒经过密集练习,拿到新订单不用再去现场,在工坊里就能直接出图。

第二类学徒的问题不一样。他们手艺不差,但听不懂客户的口头描述。客户说“柜子要轻盈一点”,学徒不知道该把腿做细还是把面板换薄。师傅给这批学徒补了一套翻译训练,不再继续教具体家具的做法:把客户的口语拆成动作指令——选材、定比例、调装饰。学徒学的是从“轻盈”到“使腿径缩两分”的转换。

有次一位老主顾订了一套书房家具。第一类学徒交出来的多宝阁比例优美、线条精准,老师傅看了都点头。第二类学徒做出来的东西手艺合格但气质不对——客户要求的“素雅”在图纸上变成了“什么都别加”,成品显得单调。两类改造解决的是完全不同层面的短板。

工坊主后来总结出一条规矩:如果学徒做同类家具就是不行,就让他们集中练那类家具的做法;如果学徒听得懂图纸但听不懂人话,就专门训练他们从口语到图纸的转换能力。两种训练不能互相替代。

有次一个急单坑了不少人。客户说“做个能存茶饼的柜子”,一个新学徒之前做过茶叶柜的专项训练,做出了功能完备的茶饼柜。但他没受过指令理解训练,同一批另外几个客户让他“做点年轻人喜欢的风格”,他完全不知道该从哪改起。

后来工坊给所有学徒加了一轮基础训练:不再是具体家具的技法,而是学会把任何一段客户描述拆成可执行步骤。这批学徒在接到新任务时,至少知道从哪下手——即便做得不够好,也不至于完全卡住。

工坊的教学手册后来写了一条:专项技法让你在某类任务上更精,指令理解让你在遇到没见过的新任务时不至于呆住。两条路径在训练数据、评估方式和投入成本上完全不同,但项目管理表上被写在同一行太久了。

微调

在预训练模型的基础上,用特定领域或任务的数据继续训练模型参数,让模型掌握新的知识或能力。

指令微调

用指令-回答对训练模型,让模型学会理解任务描述并按照要求格式输出,是微调的一个特定子类。

故事对应

  • 大量练明式家具:微调,用特定领域数据让模型掌握某类任务
  • 学会把“轻盈”转成腿径缩两分:指令微调,让模型理解口语化任务描述并付诸执行
  • 学徒做多宝阁出色但听不懂风格要求:只有领域微调缺指令对齐
  • 基础翻译训练加给所有学徒:指令微调作为通用能力补丁

落到 Agent 项目里

评估模型时,先区分你要解决的是领域知识不够,还是听不懂任务。领域知识不够就准备行业语料做微调;听不懂任务就收集指令-回答对做指令微调。两类训练的数据量、GPU 成本、评测指标完全不同。混在一起跑,既多花钱又看不到瓶颈在哪里。