寓言故事
几队信使共用一间钥匙房
王城回信院原来给每个信使队都配一间钥匙房。每队查旧信、取索引、写回信都很快,但仓库越来越挤,钥匙管理员也越来越多。
账房发现,真正昂贵的不是信使写字,而是每一步都要保存和搬运大量旧信索引。长信越多,钥匙房越占地方。
院长先裁掉一部分信使队。成本降了,回信质量也掉了,因为不同队伍原本负责不同视角。
第二次修补是把旧信截短。速度快了,但一遇到长对话、长代码或多轮工具结果,关键上下文就丢了。
后来他们把信使队分组。组内多个查询队仍然保留不同观察角度,但共用同一套钥匙和值仓库,减少重复存取。
这不是完全回到一间大钥匙房,也不是每队独占。它在表达能力和推理效率之间取了中间路线。
企业部署巨型书吏时,这个差别很现实:上下文越长、并发越高,KV Cache 占用越可能成为成本瓶颈。分组能降低内存压力,同时尽量保留多头查询能力。
院长最后说,省钱不能只砍能力,也不能任由每个队伍复制一切。好架构会把必须不同的地方留下,把可以共享的地方合并。后来,又来了一件更棘手的活。表面看只是旧问题放大,实际把藏在流程里的缝隙都逼了出来:谁先接手、谁能改动、出了错怎样回到上一步,过去靠熟人默契混过去的地方,现在都必须说清楚。主事人没有再催大家更用心,而是把现场重新走了一遍。他让人记录每次交接、每次失败和每次补救,哪些地方只是慢,哪些地方会误伤结果,哪些地方一旦错了就很难追回。新规矩推开后,最初几天并不顺手。有人嫌多了一道检查,有人觉得旧经验被冒犯。可当下一次异常出现时,大家第一次能沿着痕迹找到问题发生的位置,而不是围着结果互相猜。