← 返回概念解读

Concept Fable

人类在回路外

Human-on-the-Loop (HOTL) · 治理

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

河口的一支商队里那块总被挪错的货签

河口商队有一套用了很多年的办法。账房每天清早把货签分给车夫和采买人,谁拿到什么,就去做什么。小城不大,事情也不急,这套办法很少出错。

后来商队买了一台分货铜柜,能按货签自动派车、排仓位、提醒付款。掌柜没有让账房逐单批准,只让他坐在高台上看总盘,发现异常再喊停。

第一次出事,是一批易碎瓷器被排到颠簸山路。铜柜按距离最短派车,账房当天只看见总数漂亮,没注意个别货签的风险。等车回城,三箱瓷器已经碎了。

掌柜先要求账房看得更仔细。可货单一天几百张,人盯着总盘很快疲倦,真正危险的异常藏在普通数字里。只把人放在旁边,并不等于人能及时介入。

后来商队重设规则:普通布匹自动走,易碎、贵重、改路、超时和客户投诉会亮红灯;账房不再审每一步,却必须处理红灯、抽查样本、调整派车边界。

新制度下,铜柜仍承担大部分常规安排,人负责监督和纠偏。掌柜明白,人站在回路外,不是完全离场,也不是逐步手签;关键是系统知道何时把人叫回来,以及人能否真正改变结果。

账房后来也获得了真正的控制杆。他不仅能看红灯,还能暂停某类派车、提高易碎品阈值、要求某条路线人工确认。若只能旁观,监督就只是摆设。

商队复盘时把三种方式分清:人逐单批准,人完全不管,人站在旁边看异常并能干预。第三种最省力,也最容易被误解。它要求系统会报警,人有权限,记录能说明为什么介入。后来账房不用盯每个普通布包,却会认真处理每一次红灯。人被放在回路外,是为了从琐碎批准中解放出来,不是为了让关键风险无人负责。账房的位置变高了,但责任没有消失,只是从逐单盖章变成看住边界。若红灯太多,说明边界设得不好;若红灯太少,又可能漏掉真正危险。

揭示

这个故事讲的是:人类在回路外

AI 系统自主执行但人类保持监督态势,仅在系统发出告警或异常时才介入的更宽松的控制模式。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 河口的一支商队:一个真实运行中的 AI / Agent 业务系统
  • 货签:任务、请求、上下文或需要被处理的信息单元
  • 只按货物重量决定先后:只改表层规则、指标或提示词的天真修补
  • 红绳结:系统里的状态信号、触发条件或可观测线索
  • 年轻学徒的记录:把过程、状态、责任和反馈留下来的工程化做法
  • 把货物价值、路况、交付承诺和风险标记一起纳入调度:围绕 人类在回路外 建立更稳定的工作结构
  • 监督式自主, 例外管理, 监控级人机协同:这个概念周围常一起出现的相邻问题

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

监督式自主例外管理监控级人机协同

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。