← 返回概念解读

Concept Fable精修版

在线推理

Online Inference · AI engineering / operations

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

柜台前的药方不能等到明天

老街药铺每天清晨批量配常用药包,贴好标签放在柜后。普通感冒、跌打损伤,伙计很快就能递给客人。

后来药铺接了急诊窗口。有人夜里发热,有人药物过敏,有人拿着半张旧方来问能不能马上换药。

掌柜起初仍把问题丢进清晨批处理。伙计说等明天统一配,病人却站在柜台前等答案,风险也随着等待增加。

为了显得快,药铺又让伙计随口给建议。几次险些出事后,掌柜发现实时回应不是嘴快,而是要在短时间内走完可靠流程。

他重建急诊柜台:先确认身份和禁忌,再查药库和旧方,必要时请大夫,最后把建议和理由当场交给病人。

急诊柜台有自己的约束。队伍太长要加人,关键药缺货要降级处理,高风险问题要升级,大夫无法确认时要拒绝乱答。

药铺还记录每次等待时长、错误、转诊和病人反馈。快不只是平均快,还要在高峰时不崩,在异常时有退路。

后来普通药包仍然清晨批量准备,急诊问题则走柜台实时流程。两套方式各管各的,不再互相拖累。掌柜明白,在线回应的核心是延迟、可用性、并发和安全边界。柜台前的人要现在得到答案,但不能用失控换速度。后来,又来了一件更棘手的活。表面看只是旧问题放大,实际把藏在流程里的缝隙都逼了出来:谁先接手、谁能改动、出了错怎样回到上一步,过去靠熟人默契混过去的地方,现在都必须说清楚。主事人没有再催大家更用心,而是把现场重新走了一遍。他让人记录每次交接、每次失败和每次补救,哪些地方只是慢,哪些地方会误伤结果,哪些地方一旦错了就很难追回。新规矩推开后,最初几天并不顺手。有人嫌多了一道检查,有人觉得旧经验被冒犯。可当下一次异常出现时,大家第一次能沿着痕迹找到问题发生的位置,而不是围着结果互相猜。

揭示

这个故事讲的是:在线推理

在线推理是在用户请求发生时实时调用模型生成结果,典型约束是低延迟、高可用、并发能力、流式响应和错误处理。企业 Agent 的在线推理还要考虑鉴权、上下文装配、工具调用、升级路径、SLA 和可观测性。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 急诊柜台:面向用户请求的在线模型服务
  • 清晨批处理:离线或批量推理
  • 随口建议:缺少可靠流程的快速响应
  • 身份、禁忌和旧方:鉴权、上下文和业务约束
  • 请大夫:工具调用、专家系统或人工升级
  • 等待时长和高峰表现:latency、availability 和 concurrency metrics
  • 拒绝乱答:安全边界和 fallback
  • 最后洞察:在线推理必须在实时体验和工程可靠性之间同时达标

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

Real-time inferencemodel servinglatencyautoscalingSLAstreaming response

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。