← 返回概念解读

Concept Fable精修版

前缀微调

Prefix Tuning · PEFT

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

乐队开场前那段看不见的引子

城里的乐队很强,拿到曲谱就能演奏。可每个宴会都要不同气质:商会要稳重,学堂要清楚,码头要短促有力。

指挥先在曲谱首页写长说明。乐手会读,但演出中途容易被后面的音符冲淡,复杂场景仍然跑偏。有人提议重新训练整支乐队。团长拒绝了,乐队本身很贵,也不能为每场宴会都停排。

一位作曲师写了一段不公开给观众听的开场引子。它在正曲开始前进入乐队的记忆,让后面的演奏自动带上某种方向。

这段引子不给观众听,由一组专门排过的位置和音符组成。它很短,却能影响之后每一段旋律如何展开。起初作曲师把引子写得太长,乐队反而被挤占了正曲空间。后来他只保留最有用的几段,让影响稳定但不过度。

不同宴会有不同引子。乐队不用重训,曲谱也不用贴满解释,只要在开场前加载对应引子。团长仍要求每段引子都经过试演。因为一个错误引子会让整场音乐听起来统一却偏离任务。

乐队尝试为每场宴会重写整本曲谱。效果不错,却太慢也太贵,老乐手抱怨自己熟悉的底子被改乱。下一场换到学堂,又要重新改一遍,几乎等于每次重建乐队。

一位指挥改用短小的开场手势。商会场合先敲三下慢拍,学堂场合先举白旗,码头场合先给急促鼓点。乐谱主体不动,乐手却会被前面的信号带入合适的语气。调整的不再是整支乐队,而是演奏开始前那一小段引导。这种办法也有边界。若宴会要演完全陌生的曲种,几下手势不够;但多数场合只是需要换语气、换重点、换礼数,开场前那串小信号就能省下重写整本谱的力气。

他最后明白:有时改变整场演出的方向,不必重训整支乐队,只要在开场前放入一段经过排练的引子。

揭示

这个故事讲的是:前缀微调

Prefix Tuning 是一种 PEFT 方法,冻结基础模型参数,只训练一组可学习的连续前缀向量,并把它们作为模型各层 attention 的额外上下文来影响输出。它比全量微调轻量,适合多任务适配和低资源训练,但会占用一定上下文或计算资源,且需要评测确认对目标任务的控制力。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 乐队:基础语言模型
  • 曲谱首页说明:普通 prompt
  • 重新训练乐队:全量微调
  • 看不见的开场引子:learned prefix vectors
  • 影响后续演奏:通过 attention 上下文调制模型输出
  • 引子太长挤占正曲:前缀长度和上下文/计算成本
  • 最后洞察:Prefix Tuning 用可学习前缀引导冻结模型完成特定任务

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

prompt tuningP-tuningadapterPEFT

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。