SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

持续看模型表现和发现生产环境漂移

模型监控是上线后对系统状态的全局观测,生产漂移检测专门发现输入数据、输出质量或业务分布是否发生偏移。看板告诉你不对劲,漂移分析告诉你哪里开始变味了。

寓言

水厂的看板师傅和尝水人

城南水厂每天给几万户送水。看板师傅盯着十几块仪表:水压、流速、出水量、浑浊度、投诉电话数。只要指针在绿区,他就确认一切正常。多年下来,这套看板帮水厂躲过了管道爆裂、水泵停转和滤池堵塞。

有一年夏天,看板全是绿色,投诉却多了一倍。居民说水有怪味,可浑浊度和水压都在绿区。看板师傅翻遍所有仪表,找不到任何异常。厂长怀疑是看板不够细,又加了更多仪表。投诉仍然没降。

一位老尝水人每天从不同出水口舀一杯水,不只看浑浊不浑浊,还闻气味、尝味道、对比上下游差异。几天后他发现,怪味来自上游一座新建矿场,微量矿物质进了水源。这些矿物质不改变浑浊度也不影响水压,却能让水变味。

厂长终于明白,看板能发现设备坏了、堵了、慢了,却不一定能发现水的性质变了。他让尝水人不再只靠舌头,而是每天从水源、中段和末梢分别取样,建起漂移记录:哪些指标在变、从哪天开始偏、和哪些外部事件同步。

水厂后来不再把所有异常塞给同一套看板。看板继续管设备健康,尝水人管水质变化。一次水泵故障让水压骤降,看板两分钟内报警;一次冬季水源矿物质浓度慢慢攀升,尝水人的趋势图在两周前就显示偏斜。两条线各自指向自己的修法。

新来的智能水质探头让水厂一度想把看板和尝水合并成一个仪表盘。上线后才发现,设备故障和水质漂移的报警条件完全不同。前者是突然跳出阈值,后者是缓慢爬坡,两组信号的观察窗口和响应速度不能混在一起。

厂长后来给新人看两张报警单。一张写着水压骤降,要立即查水泵和管道;一张写着矿物质连续两周偏高,要追溯上游环境和滤料更换周期。同一座水厂,两种监看节奏。

师傅又在看板旁挂了一只小瓶,每天装一口新水,专门和上月的水对比。看板告诉他机器还在转,小瓶告诉他进来的水已经变了。

模型监控

模型上线后的全局观测体系,覆盖延迟、错误率、吞吐量、资源消耗和业务指标,关注系统是否健康运行。

生产漂移检测

专门检测模型输入分布、输出质量或业务模式是否随时间偏移,是监控体系中的一个专项能力,关注变化从哪来和趋势方向。

故事对应

  • 看板仪表:模型监控中的延迟、错误率、吞吐等系统健康指标
  • 尝水人:漂移检测中的分布、质量和模式变化感知
  • 怪味投诉:业务感知到问题但系统指标未报警
  • 矿物质缓慢攀升:数据漂移的渐进特征,需要长窗口趋势分析
  • 两张报警单:系统故障和漂移需要不同的观察窗口与响应节奏

落到 Agent 上线后运维

Agent 上线后既要看调用成功率、延迟和错误码,也要看用户问题类型分布是否在变、检索结果的相关性是否在降、工具调用模式是否偏移。前者保证服务不中断,后者保证质量不在静默中塌掉。