← 返回概念解读

Concept Fable精修版

模型网关

Model Gateway, AI Gateway · AI platform / infrastructure

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

所有车队先经过同一座关卡

商会原本只雇一支车队送货,掌柜知道谁便宜、谁快、谁稳。账房月底结一次账,出错也容易查。

几年后,商会同时使用本地车队、远洋船队、快马驿站和临时脚夫。每个队伍都有自己的价格、口令、账单和禁运规矩。

各店铺开始直接找车队。有人为了快选贵的,有人把敏感货交给不该接触的队伍,有人连续失败还不停重试。

会长先发了一份推荐名单。名单很快过期,店铺仍绕开账房,月底只剩一堆看不懂的票据和无法解释的超支。

新账房设了一座总关卡。所有货先到关卡,核验身份、检查货物等级、选择车队、记录费用,必要时走备用路线。

关卡还能按规则分流:低风险走便宜车队,紧急件走快马,涉密件走本地队,失败两次后降级或停发。

会长终于能看见全局:哪些店铺花费异常,哪些车队延迟上升,哪些货物命中缓存或重复派送。

后来新车队加入,只要接入关卡,店铺不用重写流程。商会也能统一限流、审计、屏蔽供应商故障和比较质量。会长明白,多那套机器时代不能让每个应用各自直连供应商。需要一层网关把路由、安全、成本和观测集中管住。后来,又来了一件更棘手的活。表面看只是旧问题放大,实际把藏在流程里的缝隙都逼了出来:谁先接手、谁能改动、出了错怎样回到上一步,过去靠熟人默契混过去的地方,现在都必须说清楚。主事人没有再催大家更用心,而是把现场重新走了一遍。他让人记录每次交接、每次失败和每次补救,哪些地方只是慢,哪些地方会误伤结果,哪些地方一旦错了就很难追回。新规矩推开后,最初几天并不顺手。有人嫌多了一道检查,有人觉得旧经验被冒犯。可当下一次异常出现时,大家第一次能沿着痕迹找到问题发生的位置,而不是围着结果互相猜。

揭示

这个故事讲的是:模型网关

模型网关 / AI Gateway 统一接入多个模型供应商或自部署模型,并提供鉴权、路由、限流、日志、缓存、fallback、成本控制和策略执行。它让企业在多模型环境下避免应用到处硬编码供应商调用,同时集中治理安全、质量、成本和可用性。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 多支车队:不同模型供应商、自部署模型或模型版本
  • 店铺直连车队:应用直接调用各家模型 API
  • 推荐名单:静态文档或手工约定
  • 总关卡:Model Gateway / AI Gateway
  • 货物等级:数据敏感级别、任务类型和策略条件
  • 便宜车队、快马、本地队:按成本、延迟、质量和合规进行模型路由
  • 备用路线:fallback、cascading 和 provider failover
  • 最后洞察:模型网关把多模型调用变成可治理、可观测、可控成本的企业基础设施

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

API gatewaymodel routingrate limitingobservabilitytoken accountingfallback