← 返回概念解读

Concept Fable精修版

生产漂移检测

Production Drift Detection · 可观测性

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

河港粮仓里慢慢变轻的麻袋

丰年粮仓有套分米经验:袋口干、米声脆、外皮亮,多半可入上等仓。这套办法用了多年,账房也按它估损耗。

某年新商路开通,米从海边来。袋口看着干,里面却常有潮气;米声仍脆,入仓两周后却发霉。仓丁按旧经验分仓,退货越来越多。仓丁一开始很冤。他们动作和过去一样,检查表也照填,坏结果却越来越多。旧经验没有突然消失,只是世界换了来货方式。

掌柜先骂仓丁偷懒,又加了一道抽查。可抽查标准仍是老标准,抓不住新的问题。老账房把每日来源地、船期、天气、袋重、抽样湿痕和入仓损耗都记成图。那道抽查还让掌柜更安心,因为每张表都合格。老账房指出,若尺子只量袋口干不干,就看不见袋心潮不潮。

几周后,图上露出变化:不是某一天坏了,而是粮食来路、运输时长和隐藏潮气整体变了。旧办法识别旧米可靠,面对新来路却慢慢失准。

粮仓设了警戒线。来源、湿痕、损耗或退货一旦偏离旧范围,就暂停自动分仓,改由师傅复验,并把新样本加入规则修订。若连续几周稳定,再更新仓丁手册。警戒线第一次设得太敏感,天天误报,仓库被迫停工。后来他们按影响大小分级:轻微变化观察,明显偏移才暂停分仓。

粮仓还把新样本分开保存。修订规则时,师傅会看旧米和海边米各自表现,免得为了适应新来路,又把老来路判断改坏。

掌柜后来把漂移报告送到采购桌上。若海边米持续变多,就不只改分仓,还要改采购、运输和验收。发现变化只是前半步,把变化接进业务动作,粮仓才不会重复受损。

掌柜终于不再把“过去一直准”当成保证。他知道,粮仓要盯的不只是今天有没有错,还要盯世界是否悄悄换了样子。分布一变,老本事就可能在不知不觉中滑走。

揭示

这个故事讲的是:生产漂移检测

Production Drift Detection 是在线上生产环境持续监测输入分布、用户行为、工具返回、业务场景、模型输出质量和结果指标是否偏离上线时状态。企业 Agent 上线后面对的数据和流程会变化,漂移检测能提前发现“系统没有报错但正在变差”的状态,并触发复验、回滚、知识更新或重新评估。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 旧粮仓规则:上线时验证过的模型和流程假设
  • 新船批和新麻袋:生产环境输入分布变化
  • 多抽两袋:只增加抽样频率的表层修补
  • 罚验袋人:把系统漂移误判为个人失误
  • 偏移图:漂移监控指标和趋势分析
  • 警戒线:触发人工复验、回滚或再训练的生产阈值

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

数据漂移概念漂移模型衰减分布偏移

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。