← 返回概念解读

Concept Fable精修版

模型漂移

Model Drift · MLOps / monitoring

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

会变的河道和不会变的桥规

柳河镇有一座老桥,最初只给牛车和行人过。守桥人按祖上传下来的规矩放行:车轴不宽、货箱不高,就可以过。多年都没出过大事。

后来码头扩建,外地商队来了,车更重,货更杂,雨季也比从前急。桥规没有变,过桥的人却已经不是从前那些人。第一次裂缝出现时,镇长让木匠把桥面补厚。裂缝被盖住了,通行也恢复了,大家以为只是桥板老了。

几周后,桥墩开始歪。守桥人翻出旧账本,发现按照老规则放行的车越来越多,可这些车的重量、速度和震动早就超出当年修桥时的常态。

镇长又加了一条规矩:凡是大车都慢行。商队照做了,但问题仍在。因为真正危险的不只是大车,还有新的货物摆放、新的车轮材料、雨后更软的河岸。

老桥匠没有继续补桥面。他在桥头设了水尺、称重台和震动铃,每天记录过桥车辆、河水高度、裂缝变化和事故近因。

记录摊开后,大家才看见:桥没有突然变坏,是它面对的世界一点点换了。旧规矩仍然整齐,却已经不能代表现在的风险。

从此,桥的放行规则不再只看祖传尺寸。河水、车重、季节、维修记录和通行后果一起进入判断;超过阈值时,桥会限流、复查,必要时重修。镇长还安排了对照日。每月用旧规矩和新记录同时评估几辆车,看看差异是否扩大。差异越大,说明祖传经验离当前道路越远,不能再只靠习惯放行。守桥人还把旧规则保留下来当参照。每当新车队通过,他会记录按旧规是否会放行、实际结果是否安全。两条线越分越开,镇里越能看见环境变化,而不是等桥裂了才承认规矩过时。镇里还把复查写进日历。不是出了事故才看桥,而是定期确认桥面对的世界有没有换样。

守桥人最后明白,验收合格只能说明桥适合当时的河。河变了,桥也必须被重新衡量。

揭示

这个故事讲的是:模型漂移

模型漂移是生产环境中的输入分布、目标关系或业务语境变化,导致模型或 Agent 效果下降的现象。它可能来自用户变化、业务流程变化、数据采集方式变化、外部市场变化,也可能来自工具、政策和上游系统调整。企业质量闭环需要持续监测输入、输出、业务指标和失败类型,在漂移出现时触发重评测、回滚、重训练或规则调整。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 老桥:已经上线的模型或 Agent
  • 祖传桥规:训练时学到的规律和上线时设定的假设
  • 新商队、雨季、车轮材料:生产环境中的数据分布和业务语境变化
  • 补厚桥面:只修表面症状的临时补丁
  • 水尺、称重台和震动铃:漂移监控指标、日志和告警
  • 限流、复查、重修:降级、重新评测、重训练或版本回滚
  • 最后洞察:Model Drift 关注的是模型面对的世界是否已经离开原来的假设

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

Data driftconcept driftmonitoringretrainingevaluationperformance degradation