← 返回概念解读

Concept Fable精修版

分布偏移

Distribution Shift · Evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

量脚的尺到了另一个码头

鹿港有家鞋铺,最初只给本镇渔民做靴。掌柜量过很多脚,知道脚背多高、鞋底该多厚、雨季要留多少余量。

鞋铺后来接到外地码头的大单。掌柜仍按旧尺码表开工,因为过去返修很少,账本证明这套尺码可靠。第一批靴子送到后,退货不断。外地码头工人常年扛盐包,脚掌更宽;他们走的是石板地,不是泥滩;穿靴时间也更长。

掌柜的天真修补,是把所有靴子统一放大一号。退货少了一点,却出现新的问题:有些人磨脚,有些人绊倒,有些人鞋底太软。伙计又建议只看退货原因最多的一项。可每个码头的问题不同,把一个地方的补丁搬到另一个地方,反而制造了新错。

老鞋匠带人去新码头量脚、看路、问工时,并把这些记录和原来鹿港的数据并排比较。他们第一次看见两群顾客并不来自同一个世界。

鞋铺重新分了尺码表:渔民、盐工、船修工各有样本和验收规则。新地方订单必须先跑小批试穿,再决定是否沿用旧机器。后来鞋铺每到一个新码头,第一件事不再是照旧开工,而是确认这个地方的人、路、天气和使用方式是否还符合旧账本。

掌柜先责怪工匠偷懒,又让大家把针脚缝得更密。靴子更结实了,却仍磨脚,因为错的不是手艺,而是旧镇子的脚被当成了所有码头的脚。

他带着尺子去外地住了七天,量脚、看路、问工时,还把退回来的靴子逐双拆开。新尺码表只改了几寸,却把许多假设改掉了。

鞋铺后来仍保留旧账本,但每接新码头都先试穿。过去的好成绩只能说明过去,不会替陌生地方保证未来。掌柜终于明白,一把尺在一个地方准,不代表换了人群和场景还准。

揭示

这个故事讲的是:分布偏移

分布偏移是指模型训练、验证或历史评测所面对的数据分布,与部署后的真实输入分布不一致。它会让离线分数很好、线上效果变差。企业 Agent 常见偏移包括客户群变化、行业语言变化、任务类型变化、工具返回格式变化、渠道变化和政策变化。治理方式包括分群监控、上线前场景覆盖、小流量试运行、漂移检测和持续更新评测集。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 鹿港渔民:训练数据覆盖的人群和场景
  • 外地码头工人:部署后的新输入分布
  • 旧尺码表:在历史数据上学到的模型规律
  • 统一放大一号:粗糙补丁,不能解决分布差异
  • 去新码头量脚看路:采集生产样本并分析分群差异
  • 小批试穿:canary、pilot 或 shadow evaluation
  • 分群尺码表:按场景、行业和用户群建立评测与监控
  • 最后洞察:Distribution Shift 让历史表现不再自动代表未来表现

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

generalizationrobustnessdomain adaptationtest set