← 返回概念解读

Concept Fable精修版

提示微调

Prompt Tuning · PEFT

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

门口那串没人读却人人受影响的暗号牌

公共档案馆有一台问答机,能根据访客请求查资料。馆员写提示越写越长,机器有时仍然不按馆里的格式回答。

馆长以为是提示不够详细,于是把礼貌、步骤、格式和禁忌都写进开场白。开场白占掉太多空间,访客真正的问题反而放不下。

有人想重新训练整台问答机。预算太高,而且不同部门都只想做一点点风格调整。

一位工程师做了几块暗号牌,挂在访客问题前面。牌子上不是人能读懂的句子,而是机器训练后能识别的软标记。

这些暗号牌通过样例训练出来。它们不改变机器内部结构,只在输入开头提供一组可学习的提示信号。

最初暗号牌太少,控制不住格式;太多,又挤占资料空间。工程师反复试验,找到适合该部门的长度。

档案馆给不同部门准备不同暗号牌:法务要谨慎,销售要简洁,客服要先澄清。机器本体仍是同一台。

后来有人把自然语言提示和暗号牌混在一起改,问题难以复现。馆长要求每块牌都有版本、训练样例和评测记录。他最后说:提示也可以被训练,只是训练出来的提示未必像人话,却能成为低成本的行为控制接口。后来,又来了一件更棘手的活。表面看只是旧问题放大,实际把藏在流程里的缝隙都逼了出来:谁先接手、谁能改动、出了错怎样回到上一步,过去靠熟人默契混过去的地方,现在都必须说清楚。主事人没有再催大家更用心,而是把现场重新走了一遍。他让人记录每次交接、每次失败和每次补救,哪些地方只是慢,哪些地方会误伤结果,哪些地方一旦错了就很难追回。新规矩推开后,最初几天并不顺手。有人嫌多了一道检查,有人觉得旧经验被冒犯。可当下一次异常出现时,大家第一次能沿着痕迹找到问题发生的位置,而不是围着结果互相猜。

揭示

这个故事讲的是:提示微调

Prompt Tuning 是一种 PEFT 方法,通常冻结模型参数,只学习一小组连续的 soft prompt 向量,并将其附加到输入前,以引导模型完成特定任务。它比全量微调和许多 adapter 方法更轻,但表达能力可能受任务复杂度、模型规模和 prompt 长度限制。企业使用时要管理 soft prompt 版本、训练数据、上下文占用和评测结果。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 问答机:基础模型
  • 很长的开场白:手写 natural language prompt
  • 暗号牌:learned soft prompts
  • 挂在访客问题前:附加到输入前端
  • 不同部门的暗号牌:多任务或多客户 prompt tuning
  • 版本和评测记录:prompt artifact governance
  • 最后洞察:Prompt Tuning 把提示词变成可训练参数,用较低成本引导模型行为

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

prefix tuningsoft promptPEFT

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。