← 返回概念辨析

Concept Contrast Fable

计算机使用和 GUI 智能体

一个讲的是「怎么操作屏幕上的东西」,一个讲的是「按什么目标去完成一整串屏幕操作」。把怎么操作当成了目标本身,就容易造出一个会点按钮但不知道点完该干什么的系统。

寓言

会点鼠标的手和有目标的手

老钱的票号还在用一排老柜台,印章、抽屉和账页都按旧规摆着。新来的机灵学徒管着两摊看似相近的事:一摊是看见柜台上有什么并照着点按搬写,另一摊是知道一桩差事从头到尾该经过哪些柜台。新伙计嫌麻烦,把两本册子合成一本,觉得反正都和成败有关。

最初没人反对。学徒能把一张住址单誊进账本,众人便以为他能独自办完整个迁址差事,掌柜看见页数少了,还夸他们省事。可旺季一到,旧账忽然说不清:到底是前一摊没做完,还是后一摊没守住,谁也答不上来。

他们先补了更多章印和口号,要求每个人写得详细些。结果册子更厚,争执更多。出事时,每个人都能找到一句为自己开脱的话,却没人知道该先救哪一头。

老管事把众人叫到院里,让他们按真实经过重走一遍。凡是关心眼前动作的,放在第一本;凡是关心后续承担的,放在第二本。两本册子互相引用,却不再混成同一页。

他写完第一页就停住,后面的押运名册、月结账和回执都没人动。分开之后,很多旧结论改了:有些活看着热闹,其实没有挡住麻烦;有些安排平时不起眼,灾时却保住了全局。

为了防止新人再混,老管事让他们各办一件小案。只有当两本册子分别能回答自己的问题,又能在交界处互相接上,这件小案才算过关。若有人仍把两摊事写成一页,就必须回到现场重新看一遍谁先动手、谁最后担责;看不清时,宁可多问一次,也不让糊涂账过夜;因为真正出事那天,少一行分辨就会多一队人白忙。

掌柜后来给他一张差事路线图:先改总账,再通知押运房,最后收回旧凭条;每步错了都要退回上一步。后来新人入行,老管事只让他们记一句:会操作眼前物件,只算手巧;能守住整件差事的来龙去脉,才算可托付。

计算机使用 (Computer Use)

模型直接操作计算机界面的能力,包括屏幕内容理解、UI 元素定位、鼠标点击、键盘输入、滚动等基础操作。它解决的是「如何与图形界面交互」,不负责决定操作的业务目标和顺序。

GUI 智能体

在计算机使用能力之上增加目标规划、步骤编排和完成条件验证的智能系统。它将一个业务目标拆解为多个 GUI 操作步骤,按顺序执行并检查每一步的完成状态,遇到异常时自主调整策略。

故事对应

  • 模型完成保存后停住:计算机使用解决了操作能力,但没有目标编排能力。
  • 地址变更后还要更新物流系统、发起合规工单:真实的业务目标需要跨多个系统协同。
  • GUI 智能体框架加入业务流程模板:在计算机使用之上叠加了目标拆解和步骤编排。
  • 底层管操作、上层管目标的分层图:两层各司其职,能力堆叠但职责不同。
  • 重复数据录入场景不需要 GUI 智能体:场景目标复杂度决定是否需要编排层。

落到项目里

评估 GUI 自动化需求时,先画一张操作流程图,把每一步标上两种标签:操作复杂度(按钮是否清楚、窗口是否标准)和目标复杂度(是否跨系统、是否依赖前置步骤结果、是否有分支决策)。操作复杂度高但目标复杂度低的场景,优先用计算机使用模块;目标复杂度高哪怕操作简单,也得上 GUI 智能体框架来管步骤编排和异常处理。