← 返回概念解读

Concept Fable精修版

目标模块选择

Target Module Selection · PEFT

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

小齿片到底该装在哪根轴上

钟楼决定用小齿片改造大钟,而不是重铸整座钟。大家都松了口气,以为只要把新齿片磨得足够精细,装上去就能让雾天警报传到码头。

第一批齿片装在最容易够到的外壳旁边。钟声确实变了,城里行人听着更亮,码头船夫却仍说雾里分不清警报。工匠们误以为声音不够大,又把齿片装得到处都是。

第二次改造后,大钟变得吵闹,报时也开始漂。维护账本越来越厚,原本省钱的小改造快要接近重修。城主不耐烦地问,既然每片齿都在动,为什么目标反而没达成。

老钟匠让大家停手。他拆开钟楼,标出哪些轴负责节奏,哪些轮负责响度,哪些部位只传递力量,并把雾警失败的声音一遍遍放给学徒听。问题不在齿片粗糙,而在它们没有装到会改变目标行为的位置。

他们重新选择少数轴位:要让码头听清雾警,就改控制警报节奏和穿透力的那组;要保持城内报时,就不能碰另一组稳定齿轮。每个候选位置都先在旧钟上试,记录成本、风险和回退办法。

新齿片装上后,改动少了,效果反而更稳。码头能分辨警报,城里报时没有被破坏,失败时也知道该拆哪两处。学徒这才明白,轻量改造的难点不只是磨出小零件,而是知道小零件该影响哪里。

后来再有新任务,城主不再问能不能多装几片。他先问目标是什么,失败可能来自材料、测量还是轴位选择。只有找到真正负责目标变化的部位,少量改造才有意义。后来钟楼保留了一张轴位册。每次任务先查旧实验,再决定是否新增齿片。城主也终于不再把少改等同于便宜,因为错位置的小改会制造长期噪音;对位置的小改,才可能用很少部件改变关键行为。位置选错,精巧也会变成负担。目标越窄,位置越要选准。少动不是目标,动准才是目标。位置定成败。

揭示

这个故事讲的是:目标模块选择

Target Module Selection 是在 LoRA、Adapter、IA3 等 PEFT 或模型改造中选择要插入、训练或调整哪些模型模块的过程,例如 attention 的 query/key/value/output projection,或 feed-forward 层。选择错误会导致效果弱、成本高、延迟增加或行为副作用。企业做 PEFT 时,应根据任务目标、模型架构、资源约束和评测结果确定目标模块,而不是盲目套默认配置。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 大钟:基础模型架构
  • 小齿片:PEFT 参数或 adapter
  • 外壳旁边:容易但无效的模块选择
  • 到处安装:过宽目标模块带来的成本和副作用
  • 标出节奏和响度轴:理解 attention / MLP 等模块职责
  • 写明目标和测试:target module selection 的实验治理
  • 最后洞察:目标模块选择决定 PEFT 的效率、效果和风险边界

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

LoRAadapterPEFT