← 返回概念解读

Concept Fable精修版

人工监督

Human Oversight · Governance/Operations

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

钟楼上的人不必拉每根绳,但必须能听见危险的钟

钟楼城有一套自动钟绳。它按集市、人流和天气敲钟,提醒开门、收摊、避雨。守钟人终于不用整日拉绳。

后来钟绳接入更多机关:城门、桥闸、医馆排队和粮仓发放。每一次敲钟都可能改变许多人的安排。城主先要求所有钟声都让人确认。结果队伍堵在钟楼下,普通报时也要等签字,自动化几乎失去意义。

于是他们又放得太开。一天医馆排队钟误把重症队伍排到后面,等守钟人发现时,已经耽误了诊治。新办法把钟声分级。普通报时自动执行;影响安全、权利或大额资源的钟声先给人看;异常信号触发暂停;守钟人能一键覆盖。

守钟人也被训练看什么。不是每响一声都盯,而是关注高影响、低置信、越权、投诉和模式漂移的信号。几个月后,钟楼既没有回到纯手工,也没有把城交给绳索。人站在关键位置,能审查、干预、升级和追责。

守钟人没有重新抢回所有绳子。他先把钟声分成三类:寻常报时自己响,影响桥闸和粮仓的钟声留下痕迹,可能伤人的钟声先停在他面前。

第一次新规派上用场,是暴雨夜的东桥。机关判断人流少,准备放下桥闸,守钟人却看到医馆马车正在赶来,按住了那根红绳。城里人这才明白,看守不是站在每个机关旁边替它干活,而是在关键时刻能听见、能暂停、能追问,并为最后的放行负责。

这次小事故让众人停下来复盘。他们没有急着换一套更响亮的说法,而是把出错的入口、被误解的规则和需要保留的边界逐一写清。

城里明白,人工监督的目标是把人放在能减少伤害的位置上。企业 帮手 越能自动行动,越需要设计清楚何时让人介入、如何介入、介入后谁负责。

揭示

这个故事讲的是:人工监督

Human Oversight 是通过人工审查、批准、监控、干预、覆盖、暂停或升级机制,防止或缓解 AI 系统造成不当后果。有效监督不是所有动作都手工审批,而是根据风险、影响、置信度和异常信号,把人放在关键决策点,并赋予足够信息和权限。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 自动钟绳:自动化 Agent 工作流
  • 城门、桥闸和医馆:高影响业务场景
  • 所有钟声都确认:过度人工审批
  • 医馆误排:缺少关键场景监督
  • 钟声分级:基于风险的人机协作设计
  • 一键覆盖:人工干预和暂停能力
  • 守钟人训练:监督者需要上下文与标准

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

human-in-the-loophuman-on-the-loopapproval workflowoverrideescalation