SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

可观测性和 LLM 可观测性:一个是整栋楼的监控,一个是电梯里的摄像头

很多团队上了 LLM 之后,以为现有的应用监控已经能覆盖。实际上可观测性是囊括基础设施、应用、业务的全景视图,LLM 可观测性只盯大模型特有的信号——token 消耗、幻觉趋势、安全过滤命中、检索质量。拿通用监控看 LLM,相当于用体温计量服务器温度。

寓言

商场总控室和冰淇淋摊的温控器

市中心新开了一座商业综合体。总控室有一整面监控墙,显示各楼层的客流密度、空调温度、电梯运行状态、消防报警。商场经理觉得这面墙已经足够看清整个商场的运行状况了。

一楼新入驻了一家手工冰淇淋摊。摊主用的原料对温度极度敏感:奶油超过四度就开始分离,果酱超过六度颜色发暗。开业头两周,冰淇淋的口感受到不少差评。经理看了总控墙,商场整体温度常年二十二度,空调系统没有报警记录。他觉得问题出在配方上。

摊主自己买了一个小温控器塞进冷藏柜旁边,几天后发现了原因:商场的中央空调在客流低谷自动降功率,冰淇淋摊正好在出风口死角,每天下午两点到四点冷藏柜实际温度会悄悄爬到七度,等中央空调恢复满功率再降回去。这个四小时的窗口,总控墙上的楼层平均温度完全看不出来。

摊主拿着温控器的数据跟商场谈了调整方案:不是改变整个商场的温控策略,只是在冰淇淋摊附近加了一组独立的小型制冷模块和一个专属温度探头。改动很小,但打中了问题。

商场后来把这条经验写进招商手册:标准监控覆盖公共区域和基础设施,特定业态如果依赖环境敏感型设备,需要自配专属监控。总控墙没有错,但它设计的粒度管不了冰淇淋摊的奶油。

后来一家奶茶店入场时直接带了四支探头:一支测茶底温度、一支测珍珠煮锅、一支测外卖打包区、一支测外卖骑手停留时间。总控室只收了前三支的数据进大屏,第四支是奶茶店的生意逻辑,归店长自己看。

商场运营总监在一次分享会上说过一句话:总控墙让你知道商场活着,专属探头让你知道这门生意能不能活。非要把所有事情塞进同一面墙,要么墙太重,要么信号太稀。 这张新表后来成了夜班排障时最常翻的一页。

可观测性

覆盖系统全栈的监控、日志、追踪和告警体系,回答系统是否正常运行,是通用能力。

LLM 可观测性

专门针对大模型调用的可观测能力,追踪 token 使用、幻觉率、安全过滤、检索相关性等 LLM 特有信号。

故事对应

  • 总控墙监控客流空调电梯:通用可观测性,覆盖基础设施和应用层
  • 冰淇淋摊的专属温控器:LLM 可观测性,追踪大模型特有信号
  • 出风口死角下午悄悄升温:通用监控的粒度无法捕捉 LLM 层问题
  • 商场手册要求特定业态自配专属监控:LLM 场景需要独立于通用监控的专属层

落到 Agent 项目里

通用可观测性持续关注延迟、错误率、资源利用率这些指标。Agent 接入 LLM 之后,单独挂一套 LLM 可观测层,至少追踪每次调用的 token 消耗、输出是否符合预期格式、安全模块是否拦截了内容、检索步骤是否返回了空结果。两层数据分开看板,别指望一套 Grafana 面板覆盖所有。