← 返回概念解读

Concept Fable精修版

金丝雀发布

Canary Release · Deployment

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

新水闸先让一条小渠试水

稻河镇靠一座大水闸灌溉。旧闸门开合慢,却跟各条渠的脾气磨合了多年。镇上决定换新闸,让水量随田地需求自动调节。工匠们在院子里试了很多次,新闸都表现良好。有人提议第二天直接接管全镇水渠:既然试过,就别再拖。

老农摇头。院子里的水不带泥沙,也不会遇到北坡硬土、南坡浅沟和半夜暴雨。真正的田地会把院子里看不见的问题逼出来。

镇长先想多派人盯着全镇上线。老农说,几百亩田同时缺水或漫水,盯得再紧也来不及救。出事范围太大,修正就会变成赔偿。

最后他们选了一条小渠。那里田少、农户愿意配合,旧闸还能随时接回。新闸先只服务这条渠,水位、开合次数、农户抱怨和秧苗状态都单独记录。

第一天,新闸在清水里表现很好;第三天,泥沙让水位牌偏高,水量少了一成。因为范围小,工匠当天就换了滤网,旧闸也能随时兜底。主田没有被波及。

镇长没有听那个提议。他先把新闸接到北头一条小渠,那里田少、水浅,就算出错也容易拦。头一夜水量很好,第二夜却因上游落叶卡住浮尺,小渠水位忽高忽低。若全镇同开,半片稻田都会受损。

工匠修好浮尺,又多看了三天,才把第二条、第三条渠接上。每扩一段,都有人守在渠边记水位、听农户抱怨、准备随时退回旧闸。新闸最后接管全镇,不是因为院里试过,而是它在小范围真水真田里扛过了问题。

一周后小渠稳定,镇上才扩大到三条渠,再到半个镇。每一步都有放大的门槛,也有退回旧闸的条件。镇长后来记住了这件事:先让小范围替全镇发现真实环境里的问题,才是对农户负责。

揭示

这个故事讲的是:金丝雀发布

金丝雀发布是在全面上线前,先让少量用户、租户、地区或流量使用新版本,用真实指标判断是否继续扩大。它的核心是限制影响范围,同时尽早发现生产环境里的问题。

Agent 系统做金丝雀时,不只看服务是否报错,还要看任务成功率、延迟、工具错误、幻觉或策略违规、客户投诉、成本变化和回滚信号。

隐喻映射

  • 新水闸:新的 Agent 版本、模型、提示词或工作流
  • 院子里的测试:预生产验证无法覆盖真实流量
  • 小渠:小范围 canary 用户、租户或流量
  • 泥沙导致误判:真实环境中的隐藏差异
  • 旧闸随时接回:回滚能力
  • 指标门槛和停止条件:canary success criteria 与 abort condition
  • 最后洞察:金丝雀发布用小范围真实风险换取大范围发布前的证据

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

rolloutA/B testing