← 返回概念辨析

Concept Contrast Fable

模型路由和Agent路由,一个是把问题发给合适的模型,一个是把任务派给合适的角色

模型路由在推理层面决定一个请求该走哪个模型——按成本、速度或能力选。Agent 路由在任务层面决定一个意图该分配给哪个 Agent——按领域职责和权限选。两者都叫路由,一个在推理引擎内部做流量分发,一个在业务编排层做角色分配。

寓言

官署里有两种分件员,一种看信封,一种看案子

户部每天收到四方文书:税契、赈粮、边关军需、商旅通牒。最初所有文书都送进同一间抄房,由同一批书吏誊清。短信还好,遇到账目、律例和地形图混在一起,抄房常把字抄对,事却办错。

尚书先换了抄本通道。字迹潦草的送给识草书的吏,算筹繁多的送给账吏,外邦文书送给译吏。这一步让每份文书更容易被读明白,却没有决定谁去查仓、谁去发函、谁去请示。

一次赈灾急件被译吏誊得很准,却没人派粮;另一份税契送给账吏算清了银两,却忘了让巡检核地界。尚书这才明白,选会读哪种文书的人,只解决了读的问题,不解决办事归属。

后来户部另设分司牌。文书先按难处选择抄房,誊清后再按事务交给粮司、税司、驿司或刑名房。每个分司有自己的权限、时限和回执。

尚书起初把两道事都交给抄房管。抄房很快不堪重负:识草书的吏开始决定赈粮先后,账吏开始替刑名房发函,译吏因为懂外文便被要求接待商旅。文书读得更快,责任却越分越糊。

一次边关军需牵涉粮草、驿马和军械,抄房只能判断哪几页难读,不能决定哪些司该联手、谁有权开仓、谁负责回报。尚书这才把‘读明白’和‘派差事’分开挂牌,前者按材料难度选人,后者按事务职责派角色。

后来新书吏入署,尚书都让他先看两块牌。材料难,送给会读的人;案子重,派给能负责的人。若只建一块牌,衙门迟早会把聪明的读者误当成有权办事的官。

从此衙门里有两道分派:一道问‘这份材料该由谁读’,一道问‘这件差事该由谁办’。两道若混在一起,字越抄越清,事反而越拖。

模型路由

在推理阶段根据请求特征(复杂度、领域、预算)将请求动态分发给最合适的模型。关注点在于延迟、成本、吞吐和模型能力匹配。属于推理引擎内部决策。

Agent 路由

在任务编排层根据用户意图将工作分配给最合适的 Agent 或角色。关注点在于任务分解、领域匹配、权限控制和完成质量。属于业务编排层决策。

故事对应

  • 最底层副本优选:模型路由——纯技术选择,不看案子内容
  • 中间层老书办分件:意图分类——按业务内容分到不同领域
  • 最上层副堂官定参与角色:Agent 路由——分配具体 Agent 和权限
  • 三层都叫分配但管不同的事:同名不同层的系统设计问题
  • 监察官追问:命名区分让每层优化方向清晰
  • 跨司联署案例:需要 Agent 路由的特性——任务分解和权限管理
  • 两个独立配置文件和监控面板:正确的工程架构

落到 Agent 系统架构设计

构建多 Agent 系统时,在架构图上把模型路由和 Agent 路由画在两个不同的层次。模型路由放在推理网关层,配置项是模型列表、延迟阈值、成本预算和 fallback 策略。Agent 路由放在编排层,配置项是 Agent 技能注册表、领域匹配规则、联署策略和权限矩阵。调试时如果请求给了对的 Agent 但返回质量差,查 Agent 路由配置;如果 Agent 的推理速度慢或成本异常,查模型路由配置和模型分配策略。两条路由共用「路由」这个词,但各自的配置文件和监控维度要分开维护。