← 返回概念解读

Concept Fable精修版

速率限制

Rate Limiting · 治理

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

井口前的铜筹码

山谷村只有一口深井。早年每家每天来打几桶水,排队靠自觉,井绳也从没断过。

后来村里开了染坊、客栈和药铺。有人一次挑十担,有人让伙计轮流插队,还有外村人趁夜来灌满大缸。井边开始拥堵。

村长先挂出告示:请大家节制用水。头两天有用,第三天染坊说自己是急活,客栈说客人等着,药铺说救命要紧。

很快,普通人打不到水,井绳被拉断,真正的急病反而排在一堆假急事后面。井没干,秩序先坏了。

村长又安排守井人逐个判断。可人一多,守井人忙着争辩理由,队伍更长,脾气更差。

新管井人给每家发铜筹码:普通用水有固定额度,短时间取太多要等待,关键行业有单独额度,异常来源先降速再核验。

他还把限制放在不同地方:井口、取水车、商铺账户和夜间入口。谁消耗了多少,为什么被拦,都会记在水册上。

后来染坊雇人分批来打水。水册发现多个桶来自同一后院,自动把它们合并计数。药铺的真实急单仍能走专门通道。村长明白,限制不是为了少给水,而是为了让井在拥挤和攻击时仍服务真正该服务的人。后来,又来了一件更棘手的活。表面看只是旧问题放大,实际把藏在流程里的缝隙都逼了出来:谁先接手、谁能改动、出了错怎样回到上一步,过去靠熟人默契混过去的地方,现在都必须说清楚。主事人没有再催大家更用心,而是把现场重新走了一遍。他让人记录每次交接、每次失败和每次补救,哪些地方只是慢,哪些地方会误伤结果,哪些地方一旦错了就很难追回。新规矩推开后,最初几天并不顺手。有人嫌多了一道检查,有人觉得旧经验被冒犯。可当下一次异常出现时,大家第一次能沿着痕迹找到问题发生的位置,而不是围着结果互相猜。

揭示

这个故事讲的是:速率限制

速率限制控制某个用户、租户、IP、API key、工作流或 Agent 在一个时间窗口内能发起多少请求、动作、token、工具调用或昂贵操作。

在企业 Agent 系统中,它保护可用性、成本、下游 API、模型配额和滥用面。好的限流要按身份和资源分层,支持突发与持续限制,区分关键可信流量和可疑流量,并把限流信号送入监控。

隐喻映射

  • 深井:模型、API、工具或共享计算资源
  • 打水队伍:用户请求和 Agent 操作
  • 节制告示:只靠自觉或提示的脆弱控制
  • 铜筹码:配额、令牌桶或固定窗口限制
  • 不同井口限制:多层限流,覆盖账号、租户、IP、工具和资源
  • 合并同一后院:识别绕过限流的关联请求
  • 最后洞察:限流保护的是服务可用性、成本边界和公平访问

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

配额管理流量整形滥用防护