SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

模型路由和Agent路由,一个是把问题发给合适的模型,一个是把任务派给合适的角色

模型路由在推理层面决定一个请求该走哪个模型——按成本、速度或能力选。Agent 路由在任务层面决定一个意图该分配给哪个 Agent——按领域职责和权限选。两者都叫路由,一个在推理引擎内部做流量分发,一个在业务编排层做角色分配。

寓言

官署里有两种分件员,一种看信封,一种看案子

京城户部每年收十万件文书,全部汇入一个叫「龙门」的收发房。收发房配了一位老书办,他的工作是把每件文书按内容和紧急程度分到八个司:度支司管预算,仓储司管物资,户籍司管人口。老书办干这行二十年,看一眼文书的抬头就能判断该往哪个司递。

后来户部上了一套新系统——在收发房上加一层前置。新系统收到的并非文书原件,关键在于每件文书被拍成三份副本——灰度扫描、摘要、全文文字识别。前置系统根据扫描速度和识别准确度的取舍,挑一版最好的送往下一环节。这一层每天分几十万次,纯技术决策,跟案子内容无关。

第三年户部开始试行「代事制度」——六个司各有三个专职的资深吏员,每人只负责自己专长的业务领域。户部设了一个新职位叫「值房分派」,由一位熟悉全局的副堂官担任,他的任务是读老书办分过来的案子,判断该案需要哪类专业吏员介入、是否需要联署、是否需要追加证据。

来年审计的时候,一位外部监察官看了整个流程后提了一个尖锐的问题:你们一共有几层分类?答案有三层——最底层是副本优选的纯技术分发,看的是图像质量和延迟;中间层是老书办按业务关键词分到各司;最上层是副堂官决定案子的参与角色和权限。三层都叫「分配」,但管的全是不同层级的决策。

户部为此把三层的名字分别定了下来。最底层叫「通道选择」——选哪个版本的副本往下传。中间层叫「业务分类」——读抬头定司。最上层叫「职责分派」——定人和权限。定完名字之后,每一层的优化方向立刻清晰了:底层优化延迟和成本、中间层优化准确率、上层优化任务完成度和合规。

分清楚以后,出了问题解决的效率明显不同。有一次度支司和户籍司边界模糊,一个户籍迁转连带税收调整的案子被卡在中间层。老书办说这不是分类的问题——案子同时属于两个司,不可能只分给一个。副堂官介入,启动职责分派:成立跨司联署工作组,分配两个司的资深吏员参与,定下决策权限。

户部的经验后来被写进了六部的信息化章程:模型路由和 Agent 路由要分在两个不同的配置文件里,各自有独立的监控面板。前者看的是「通不通」「花多少」,后者看的是「派没派对人」「办没办对」。二者共用一个「路由」后缀,但调试的时候看的是完全不同的日志。

模型路由

在推理阶段根据请求特征(复杂度、领域、预算)将请求动态分发给最合适的模型。关注点在于延迟、成本、吞吐和模型能力匹配。属于推理引擎内部决策。

Agent 路由

在任务编排层根据用户意图将工作分配给最合适的 Agent 或角色。关注点在于任务分解、领域匹配、权限控制和完成质量。属于业务编排层决策。

故事对应

  • 最底层副本优选:模型路由——纯技术选择,不看案子内容
  • 中间层老书办分件:意图分类——按业务内容分到不同领域
  • 最上层副堂官定参与角色:Agent 路由——分配具体 Agent 和权限
  • 三层都叫分配但管不同的事:同名不同层的系统设计问题
  • 监察官追问:命名区分让每层优化方向清晰
  • 跨司联署案例:需要 Agent 路由的特性——任务分解和权限管理
  • 两个独立配置文件和监控面板:正确的工程架构

落到 Agent 系统架构设计

构建多 Agent 系统时,在架构图上把模型路由和 Agent 路由画在两个不同的层次。模型路由放在推理网关层,配置项是模型列表、延迟阈值、成本预算和 fallback 策略。Agent 路由放在编排层,配置项是 Agent 技能注册表、领域匹配规则、联署策略和权限矩阵。调试时如果请求给了对的 Agent 但返回质量差,查 Agent 路由配置;如果 Agent 的推理速度慢或成本异常,查模型路由配置和模型分配策略。两条路由共用「路由」这个词,但各自的配置文件和监控维度要分开维护。