← 返回概念解读

Concept Fable精修版

专家路由

Expert Routing / Gating · MoE

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

门房决定哪位师傅该接这块铁

铁桥城的专家工坊建好后,真正忙起来的不是师傅,而是门房。每块铁进门,都要由他判断该送给刀匠、锁匠、钟匠还是车轴匠。

起初门房偷懒,所有铁件都送给最有名的老师傅。老师傅手艺好,却很快被小活淹没;修钟的细件排在车轴后面,急用的锁芯等到黄昏还没动。

城主先多请几位名匠,仍然混乱。因为问题不在师傅数量,而在入口没有分辨活的种类、难度和优先级。普通刀背、精密齿轮、断裂车轴被塞进同一队伍。

老门房开始记录每件铁器的形状、裂口、用途和时限。他不亲自修,却决定走哪扇门:粗活给快手,精活给钟匠,危险件先让验铁师看,拿不准的才送总师傅。

第一次试行时,有人抱怨门房挡路。可一批车轴若交给刀匠,会修得漂亮却不耐压;一枚钟齿若给粗匠,会省时却毁整座钟。分派正确,比让所有师傅都看一遍更重要。

后来工坊吞吐大增,名匠反而更有空处理疑难。城主明白,专家体系的关键常在门口:先判断问题属于哪类,再把它送给合适的人,不让每个请求都消耗全部手艺。

门房后来也会学习。每次送错,他都在门册上记下特征:裂纹像刀伤却来自车轴压力,亮面像装饰却要求承重。门册越厚,分派越准。

城主没有让门房变成第五位大师傅。门房的职责是识别和分流,不是亲自解决所有问题。好的入口让专家少做无谓判断,把时间留给真正需要他们那门手艺的请求。后来城里来了新材料,门房没有硬猜,而是先设临时分流、记录结果,再慢慢固定规则。入口越会学习,整座工坊越不容易被新问题冲垮。入口判断越准,后面的专家越能发挥真正价值。若门口混乱,再多大师傅也会被错误请求耗尽。分流本身就是产能。后来他还会定期复盘错送案例。因此门房的记录也被当作工坊资产。

揭示

这个故事讲的是:专家路由

Expert Routing / Gating 是 MoE 中决定每个 token 该交给哪些 expert 处理的机制,通常由学习到的 gate 对专家打分,再选择一个或多个专家。它直接影响质量、计算成本、专家利用率和训练稳定性,常与 top-k routing、auxiliary loss 和 load balancing 一起设计。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 门房:gating network / router
  • 各位师傅:MoE experts
  • 按标签分配:粗糙的静态规则,不能捕捉 token 真实需求
  • 给所有师傅看:dense computation,成本过高
  • 给师傅打分:gate logits / softmax over experts
  • 分数最高的几位接手:top-k expert selection
  • 偏爱刀匠:routing collapse 或 expert imbalance
  • 最后洞察:MoE 的容量只有通过可靠的 gating 才能转化成有效计算

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

MoEtop-k routingload balancingauxiliary loss