← 返回概念解读

Concept Fable精修版

贪心解码

Greedy Decoding · Decoding

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

每个路口都选最亮的灯

山城书局雇抄诗人替客人续写对联。新抄诗人每写一个字,都从脑中挑当下最顺、最像的那个。第一句常常漂亮,旁人也称快。

可写到长联时,问题出来了。上半句一味选最顺口的字,到了下半句无韵可押;前面为了气势用了“万里”,后面小庭院的景就接不上。每一步都最顺,整副联却不一定最好。客人第一次夸他快,第二次却退稿。前半联每个字都顺耳,合起来却把后半联能走的路堵死了。

掌柜先要求他写慢些。抄诗人仍在每个位置挑最顺的字,只是挑得更认真,结果同样容易早早把路走窄。老先生让他看废稿:错不在某个字生僻,而在前面每次贪近便,没给后面留下余地。写慢些那晚,他在每个位置犹豫更久,仍只看眼前最好。老先生说,犹豫不是远见;远见要把后面可能接上的路也放在案上。

有些急单,掌柜仍让他这样写。门口告示、短贺词、寻物启事,最顺的下一个字通常够用,速度也快。可婚书、碑文和长诗,就要保留几条写法,再回看全篇。掌柜还贴了分工牌:急告示用快法,长诗先列候选。不同活计换不同写法,书局才不拿省时去赌全篇。

抄诗人后来给自己立规矩:短句可一字定一字,长篇先留余地;若前文已经限制太多,宁可回头改。最快的写法不是愚蠢,只是适用范围窄。

抄诗人后来仍喜欢快法。掌柜没有禁止,只让他先判断作品长度和代价。若错了可以立刻重写,就快;若前文会锁死后文,就多留几条路。

书局学到,逐步选择当前最像的下一步,会带来干净、稳定和便宜的结果;代价是它不回头,也不为未来复杂结构多想。用它时,要知道自己是在换速度,而不是保证全局最优。

揭示

这个故事讲的是:贪心解码

Greedy Decoding 是每一步都选择概率最高的下一个 token。它速度快、确定性强、成本低,适合固定格式、低创造性、短输出任务。但它容易过早收束,生成单调文本,也可能因为局部最优导致整体答案不佳。企业 Agent 应把它用于明确、可验证、低风险的输出,而不是复杂推理或创意任务的默认答案。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 最亮的灯:当前概率最高的 token
  • 每步都选最亮:greedy decoding 的局部最优策略
  • 短确认信件:适合贪心解码的确定性任务
  • 急件迟到:局部最优导致整体输出不佳
  • 限定使用场景:按任务风险选择解码策略

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

decodingargmaxbeam searchdeterministic generation