SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

微调和监督微调

微调是大类,覆盖所有在预训练模型上继续训练的方法。监督微调是其中一种——用标注好的输入-输出对来训练。讨论要不要微调是一层决策,讨论用哪种微调是另一层决策。把两层混在一起,容易在还没搞清楚训练数据从哪来的情况下就启动了项目。

寓言

进修和跟师傅进修

烹饪学校培养了一批基础扎实的年轻厨师,他们掌握了刀工、火候、调味的基本原理。毕业后,每个人都要根据去向选择进修方向。有的人去餐厅跟师傅继续学习,有的人进食品工厂做研发,有的人去学营养学转做团餐顾问。这些路径都叫进修,但走法完全不同。

小孟被派到一家川菜馆进修。主厨给了她一本菜谱,上面每道菜都标好了食材分量、步骤顺序和成品照片。小孟每天照着做,主厨尝过后打分、纠偏。做了两百道菜之后,小孟出手的宫保鸡丁跟主厨的版本几乎无法分辨。

同期进修的小赵去了食品研发中心。他的进修方式完全不同——没有人给他菜谱。他需要自己看论文、试配方、做感官测试,反复迭代。有时候成功,有时候失败,失败了要自己分析数据找原因。半年后小赵研发出了一款低盐酱料,市场上没有先例。

烹饪学校校友会上,有人问校长:进修到底有没有用?小孟说太有用了,我照着菜谱练了半年,现在闭着眼都能做出主厨级川菜。小赵说进修太难了,半年里大部分时间在失败。两个人都在回答「进修有没有用」,但他们在描述完全不同的两种进修路径。

校长意识到问题。之后发给毕业生的进修指南里,第一页就画了一张分岔图。左岔叫「跟师傅进修」:你需要一份标注好的菜谱,有人给你打分纠偏。适合目标明确的岗位——川菜厨师、面点师、铁板烧师傅。右岔叫「其他进修方式」:你可能需要自己找方向、试错、从失败里总结。适合需要探索新边界的岗位——食品研发、团餐设计、教学。

有一个毕业生来咨询进修计划,说「我想进修」。校长没有直接推荐课程,而是先问:你手里有没有标注好的菜谱?如果没有,你先要做的不是进修,是花几个月把菜谱写出来。然后校长才拿出分岔图,帮毕业生定位到具体路径。

后来行业里流行一句话:说「我要微调」之前,先问问自己「训练数据在哪」。数据有了,再讨论用哪种微调。数据没有,第一步不是选微调方法,是搞数据。这个顺序一旦颠倒,项目启动日就是延期日。

校长的年终总结里把两个概念的关系画成了一个嵌套圈:大圈是微调,里面包含监督微调、强化学习微调、自监督微调等多个小圈。标题写:「你在大圈的入口提出正确的问题,才不会在小圈里走出错误的方向。」

微调

在预训练模型基础上使用特定数据继续训练的总称,目标是让模型适应特定领域、任务或风格。包括监督微调、强化学习微调、指令微调等多种具体方法。

监督微调

微调的一种具体方法,使用标注好的输入-输出对进行训练。模型学习从给定输入映射到期望输出,是最常见也最依赖标注数据质量的微调方式。

故事对应

  • 进修:微调的大类概念——在已有基础上针对特定方向继续训练。
  • 跟师傅学川菜:监督微调——有标注菜谱、有人打分纠偏、输入输出对明确。
  • 小赵的研发进修:其他微调方式——没有标注数据,需要自我探索和试错。
  • 校长先问「菜谱在哪」:决定微调之前先确认训练数据的可得性和质量。
  • 分岔图:微调方法分类——不同场景、不同数据条件对应不同的微调路径。

落到项目里

讨论微调方案时把决策拆成两层。第一层:要不要微调?判断标准是基础模型在你场景下的表现差距有多大,以及这个差距能否通过 prompt 工程、RAG 或其他非训练手段弥补。第二层:用哪种微调?如果已有高质量标注数据,监督微调是起点。如果难以标注但能定义奖励信号,走强化学习微调。如果只有领域文本没有标注,先做继续预训练。每层决策依赖的信息不同,不要在第一层还没结论时直接跳到第二层选方案。