← 返回概念解读

Concept Fable精修版

早出

Early Exiting · Inference

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

关卡不再要求每封信都走完整座城楼

北门城楼有十二道关。每封入城的信都要从第一道门走到第十二道门,最后由总守卫盖章。早年信少,这样做显得谨慎。后来信件分成两类:一类只是问集市几点开门,一类牵涉边防粮草。可两类信都要走完整座城楼,最简单的问题也要等到午后。副官先增加跑腿的人,把信从一道门送到下一道门。速度略快,但每道门仍要查一遍,短问短答没有少走路。

另有人建议给简单信贴绿签,让前几道关随便看一眼就放。结果有人为了快,把复杂信也贴成绿签,几次险些漏掉要紧事。

老守卫改了规矩:每道关不仅检查内容,还写下自己有多确定。若前面几关已经高度一致,信就可以提前出城;若意见分散,就继续走到更深的关。

这不是偷懒。提前放行只发生在信件足够简单、判断足够稳定的时候。粮草、诉讼和边防信仍然必须走完后面的门。

一段时间后,城楼的平均等待少了很多,最难的信反而得到更多注意。总守卫也能从记录里看到哪些提前出城的信后来需要复查。

副官终于懂了,省时间不能靠一刀切地少查几关。正确做法是让计算深度随问题难度变化,把完整成本留给真正需要它的请求。

老守卫还设了复查篮。提前出城的绿信会抽一部分送到后门复核,若发现前门过于自信,就调高门槛。这样早出不是永久特权,而是被持续校准的判断。

城楼后来把节省下来的时间留给难信。简单询问不用挤占十二道关,复杂军报也不再被小事拖慢。副官明白,聪明的门不是永远开得早,而是知道何时可以早、何时必须深查。后来城楼把提前出城看作一项权利,也看作一项要不断复查的承诺。

揭示

这个故事讲的是:早出

提前退出,也可叫早退推理,是让模型在置信度足够高时停在中间层,不必每次都跑完整个模型。简单样本少花计算,难样本仍走完整路径。

它能降低推理成本和延迟,但前提是置信度要校准,质量要持续监控。否则模型可能过早退出,把看似简单但实际困难的问题答错。

隐喻映射

  • 十二道关:transformer layers or inference stages
  • 简单集市信:easy queries
  • 粮草边防信:hard or high-risk queries
  • 每关写下确定程度:confidence / exit criterion
  • 提前出城:stop computation at an intermediate layer
  • 复查记录:monitoring accuracy and regression after early exit

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

dynamic computationinference optimizationlatency