SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

全量微调和参数高效微调:一个改整本,一个贴便签

团队讨论模型适配方案时,全量微调和参数高效微调常被当成两种“调参方式”放在同一页对比表里。但两者的成本结构、回滚策略和对基础设施的要求差了一个数量级。选错不是因为技术判断差,而是因为把两类操作按同一个维度排了序。

寓言

图书馆修订部的两种改法

大学图书馆收到一批新版教材,要求修订部把馆藏里的旧版教材同步更新。修订部有两种做法。第一种是重印:把旧书逐页扫描、修改、重新排版、装订成新书。第二种是勘误贴:找一张半透明的贴纸,只覆盖需要修改的那几个段落,贴在旧页上,读者翻到时自然看到新内容。

系主任第一次听汇报时,觉得两种做法只是工作量和成本的差别。他把两个方案排了一个成本对照表,要求所有院系用勘误贴——省钱。修订部照做了。

第三周问题集中爆发。有几本教材的修订量远超预期,勘误贴贴满了大半本书,书变得比原版厚了两倍,翻页时贴纸卷边,读者根本没法正常阅读。还有三本书的修订内容互相引用,勘误贴之间的逻辑链断了——贴在 A 书上的修改和贴在 B 书上的修改彼此不知道对方改了哪里。

修订部紧急复盘后发现,勘误贴适用的是“改动集中在少数孤立段落”的场景;一旦修改范围弥漫全书、或者多书之间有交叉引用,勘误贴会让整本书的物理结构崩溃。重印虽然贵,但它把所有修改融进了同一套页码和索引系统里。

部门后来定了一条选型规则:先评估修订范围和修改之间的关联密度,再选方法。改动少且独立,用贴纸;改动密且互相牵连,用重印。规则不复杂,但前提是先把“少”和“多”的判断标准定清楚——判断标准不看修改了几段,要看被改段落之间有多少逻辑依赖。

年底统计时发现一个有意思的数据:真正需要重印的教材只占修订总量的百分之十五,但它们的预算占了修订部全年开支的百分之六十。勘误贴覆盖了八成五的修订任务,总花费不到四成。分开算账之后,每种方法的真实性价比才浮现出来。

修订部后来真正后悔的,是早期那张成本对照表把两种方法并排摆放,仿佛可以随意替换。贴纸和重印服务的是两种不同的修订结构,承担的风险也不一样。表里的数字再接近,策略边界也不能被一张表抹平。

全量微调

更新模型的全部参数以适配新任务或新领域。效果上限高,但需要完整的基础设施、更多数据和更长的训练时间,回滚成本大。

参数高效微调

只更新模型的一小部分参数,如通过 LoRA 添加低秩适配器。训练快、存储小、可快速切换,但适合修改范围独立且量小的任务。

故事对应

  • 重印整本教材:全量微调,所有参数参与更新
  • 勘误贴只覆盖需要修改的段落:PEFT,只动一小部分参数
  • 系主任按成本对照表全选了贴纸:把两种策略当作可以按价格排序的替代方案
  • 贴纸太多导致书无法翻阅:改动范围太密时 PEFT 适配器之间会互相干扰

落到模型选型项目里

模型适配方案评估时,先按任务复杂度分级:简单格式调整或单领域术语替换优先考虑 PEFT;涉及多领域交叉推理或全面风格迁移才评估全量微调。预算表里把训练算力、存储适配器和回滚人力三条成本线分开列,不要让适配器的小存储成本掩盖全量微调在部署和回滚阶段的隐性开支。