SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

人类在回路中和人类在回路上

一个要求人站在流程必经的路口上,每件事都要点头才能过。一个要求人站在高处盯着,只在系统跑偏时伸手拽一把。选错了设计,要么人成了系统瓶颈,要么系统在没人看的时候悄悄犯错。

寓言

守门的人和瞭望台上的人

老孙的自动化车间有两套人机协作模式。第一条产线叫「审批线」:每个产品从第一道工序到最后一道,中间要经过三道人工检查。检查员站在传送带旁边,产品经过时扫一眼、盖个章。没有人工盖章,产品不能进下一道工序。

第二条产线叫「监控线」:产品从头到尾自动流转,没有人在中途拦停。但车间二楼有一个瞭望间,里面坐着一位调度员,面前是整条产线的状态屏。只要温度、速度、合格率在设定范围内,调度员什么都不用做。一旦某个指标偏离了预设区间,屏幕上亮红灯,调度员才介入——暂停产线、调整参数、或者把异常批次拉出来单查。

车间接了笔大订单,要同时跑两条产线。一个月以后,厂长对比了两条产线的数据。审批线的产量只有监控线的四成,因为每道工序都要等人盖章,人有休息、走神、排队的时候,机器就得等着。但审批线的次品率几乎是零——每一个产品都经过了人的判断。

监控线产量很高,但出了一个问题:有一次温度传感器偏移了两度,在正常波动范围内,系统没报警。连续跑了三个小时之后,产品的某个关键尺寸已经超差了,但整批产品都过了自动检测。等调度员发现时,已经出了一整批废品。调度员承认:三个小时里他没有主动抽查过产品,一直盯着屏幕等红灯亮。

厂长把两条产线的经验摊在桌上。审批线的核心是人必须说「行」才放行——人在每一步的决策路径里,这叫在回路中。监控线的核心是人不必干预每一步,但要定期巡视并在异常时接管——人在回路以外的监督位置上,这叫在回路上。

厂长为每种场景选了不同模式。涉及安全、合规、资金决策的工序,走审批线,人在回路中。日常运转中量大、风险可控的工序,走监控线,人在回路上,但给调度员加了一条死规矩:每小时必须到产线现场随机抽检一次,不能只盯屏幕。

三个月后,车间效率上去了,质量也没掉。厂长总结了一句话:需要人点头的工序,把人放在路中间。只需要人盯着的工序,把人放在高处,但别忘了让他定期下来走走。

后来每条新产线上马,都先花一周确定哪些节点需要盖章、哪些节点只需要瞭望。老工人管这叫「先定岗,再定人」。

人类在回路中 (HITL)

人在决策流程内部,系统的每一步关键操作都需要人工审批或确认才能继续。适用于高风险的合规、安全和资金决策场景。

人类在回路上 (HOTL)

人在监督层面,系统自主运行,但人类持续监控并在异常或需要上报时介入。适用于批量处理、实时性要求高且风险可控的场景。

故事对应

  • 审批线:HITL,每道工序需要人盖章才放行。
  • 监控线:HOTL,自动运行,人只在异常时介入。
  • 审批线产量只有监控线的四成:HITL 的吞吐量代价,人成了速度瓶颈。
  • 温度偏移两度未被发现:HOTL 的监控盲区,依赖报警机制但缺乏主动抽查。
  • 每小时现场抽检:HOTL 的补充机制——不能只依赖自动告警,需要主动巡视。

落到项目里

在设计 AI 系统的每一步关键决策时,先标出风险等级。高风险节点(涉及金钱、合规、人身安全)默认走 HITL,人在决策路径里,系统不得越过人直接执行。中低风险节点(批量分类、内容摘要、常规回复)可以走 HOTL,但必须配三个东西:明确的上报阈值、主动抽样检查机制、以及人可以在任何时刻手动接管的设计。最糟的设计是名义上 HOTL 但没有上报和巡检——那实际上是无人在环。