SH

Soloharness

概念 · 故事 · Agent

← 返回概念解读

Concept Fable精修版

模型路由

Model Routing · AI platform / cost optimization

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

不是每封信都要派最快的马

北邮站有三种马。黑马最快,跑一次很贵;灰马稳,速度中等;小黄马便宜,适合短途。过去,邮站为了显得可靠,什么信都派黑马。

一开始,大家很满意。急信快,普通信也快,连街角铺子的账单都很快。可月底一算账,邮站亏得厉害。站长想涨价,商户不愿意;想少送,又怕耽误急事。

老邮差说,问题不是黑马不好,而是你把所有信都当急信。给国王的军令、给邻村的账单、给老友的问候,不该用同一匹马。

于是邮站给信件分类。军令和限时契约用黑马;普通商业信用灰马;低风险通知和重复账单用小黄马。若天气恶劣,灰马不稳,就临时换黑马;若黑马都出去了,就把非紧急信排队。

几周后,邮站没有变慢,反而更稳。最重要的信仍然快,普通信没有乱花钱,低价值任务也没有占住昂贵资源。

站长这才明白,聪明不是永远用最强的能力,而是知道什么时候强能力值得花钱,什么时候便宜能力已经足够。

揭示

这个故事讲的是:模型路由

模型路由 Model Routing 是根据任务类型、质量要求、成本、延迟、上下文长度、风险、权限或供应商状态,选择调用不同模型的机制。它避免所有任务都使用最贵或最强模型,也避免关键任务被低能力模型处理。对 AI 产品和 Agent 系统来说,模型路由直接影响质量、成本、速度和毛利。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 黑马、灰马、小黄马:不同能力、成本和延迟的模型
  • 所有信都派黑马:所有任务都调用最强/最贵模型,成本不可控
  • 军令、账单、问候:不同价值、风险和时效要求的任务
  • 按信件分类派马:根据任务属性选择模型
  • 天气恶劣临时换马:根据可用性、故障、延迟或风险动态切换模型
  • 非紧急信排队:低优先级任务可以延迟或批处理
  • 强能力值得花钱:模型路由的目标是在质量、成本和速度之间做策略选择

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

Model gatewayfallbackcascadingcost optimizationlatencypolicy engine