SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

上下文学习和少样本提示:一个靠模型自己归纳,一个靠你给范例

两个词常被互换使用,但在系统设计里指向不同的东西。上下文学习是模型利用当前对话窗口中的信息自行归纳模式的能力,少样本提示是你在输入中主动塞进几个范例来引导输出格式或风格。分清之后才知道该优化什么。

寓言

厨房里的学徒和菜谱

老街有一家私房菜馆,掌勺师傅带徒弟的方式很特别。他不让徒弟背菜谱,只让他们站在灶台边看。看师傅处理不同季节的食材、根据火候调整调味、在客人要求变化时即兴改刀。三年下来,徒弟自然学会了做菜的节奏和判断,拿到没见过的食材也能处理。

隔壁新开了一家连锁店,培训方式是发卡片。每张卡片上写三道相似菜品的完整步骤,新厨师照着卡片上的模式,把第四道菜做出来。卡片换了,做出来的菜就跟着变。厨师不需要理解原理,只要复制卡片上的结构。

有次餐饮协会搞评比,要求两家店各出一道评委指定的创新菜。私房菜馆的徒弟看了看食材单,回忆师傅处理类似食材的手法和当天厨房里的对话,做出来的菜有师傅的影子但又不完全一样。连锁店的厨师翻遍卡片盒,没有一张卡片配得上这道新菜的要求,做出来的东西生硬又别扭。

这时候大家才开始追问两个培训方式到底差在哪里。徒弟并没有长期换脑子,他只是根据当天灶台上的材料、师傅刚说过的话和前面几道菜,临时调整手法。卡片厨师靠的是被人整理好的固定相似案例,一套卡片管一类菜。

后来有人想了个笨办法:把师傅的做菜过程写成几百张卡片塞给连锁店厨师。结果卡片越多,厨师越混乱——他本来只需要一套相似的模板,现在面对堆积如山的原料笔记反而不知道该看哪一张。

两家店后来合作时定了一条规矩:遇到新菜式、新食材,让徒弟先试,从厨房环境里自然形成做法;确定可行之后,再筛选出最关键的几张卡片给连锁店厨师做参考。徒弟负责从环境里长出来,卡片负责把长出来的东西传递给更多人。

几年后回头看,最值钱的在于那条分工:有人负责在信息丰富的环境里产生能力,有人负责把能力封装成可传递的范例。卡片的数量不重要,分工边界才重要。两个环节各干各的,谁也别假装能替代对方。

上下文学习

模型在推理时利用对话窗口中的上下文信息自行归纳规律,无需更新参数。它是模型的能力属性。

少样本提示

在提示中主动提供几个范例,引导模型按范例模式输出。它是一种提示设计策略。

故事对应

  • 徒弟站在灶台边看三年:上下文学习,模型在对话窗口中自行吸收和归纳
  • 卡片上的三道相似菜品步骤:少样本提示,主动塞范例引导输出格式
  • 徒弟拿到新食材也能处理:ICL 能力面对未见任务时的泛化
  • 卡片越多厨师越混乱:提示范例过多反而干扰模型判断

落到 Agent 项目里

设计 Agent 行为时先判断:是需要模型从对话历史中自行理解语境变化(依赖 ICL),还是需要你给几个固定范例来锁定输出格式(依赖 few-shot)。前者依赖模型能力上限,后者依赖范例质量。别在评测里把 few-shot 准确率直接等同于 ICL 能力强。