SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

操作通用界面的和操作网页的智能体

GUI 智能体面向任意图形界面——桌面软件、后台系统、甚至非浏览器的窗口。网页智能体主要面向浏览器和网页。两者看似都能点按钮,但操作对象、可观测性和失败模式差别很大。

寓言

一间衙门里出了两个差役

县衙有两个差役,都被派出去办事。老甲能进任何店铺——不管门面多偏、柜台多高、抽屉在左边还是右边,他推门进去,看招牌、摸柜台、开抽屉。老乙只认沿街的公文告示栏,他知道每张告示的格式、落款位置和印章样式,换了纸也认得出来。

有次城里所有店铺换招牌——木牌改铜牌,柜台往前挪了两步。老甲进去转一圈,花了一盏茶功夫找到账簿格,照样办事。老乙在街上碰上了三扇新装的玻璃门,不知道怎么推,愣在门外。那天所有人都说老甲好使。

换到另一天,县令要看全城过去三个月所有布匹店的告示。老甲把每家店都进了一遍,花了五天,有时还因为店家把告示卷在墙角而漏掉。老乙翻出告示栏的存档目录,两柱香列完清单。县令说老乙才是宝贝。

真正暴露差别的是拨银的差事。老甲进库房点货,看见账本在桌、银子在箱、印在抽屉,办得妥帖;另一个差事只需要在公文格里照格式填单——老甲反而找不到该落笔的空格,因为那张单子夹在折页背后,他把折页当成另一本案册,愣在原地。

师爷开始按差事类型分派。凡是需要进屋看柜台、摸抽屉、辨认铺面陈设的,交给老甲;凡是需要沿着告示栏目录找文书、按格填单、核对落款格式的,交给老乙。但没人说得出,一个既要进库房点货、又要把结果誊到街头告示栏的差事应该交给谁——两人都只能管一半。

一次衙门改了新流程:先从库房账册抄出数据,再到城门告示栏填供应商收货单。老甲能完成前半段,老乙能完成后半段,但中间换了两次纸式,斤两和箱数的写法对不上,没人发现。直到供应商送来退单,才发现手工桥接的那一步漏了。

师爷后来做了一张表,把差事按操作对象分成三类:只碰铺面柜台的、只碰告示文书的、需要桥接两者的。第三类需要专门设计衔接逻辑,不能指望两个差役自动配合。先把两个差役当成同一类人,再按同一套方式派活,时间就耗在了错误的分工上。

GUI 智能体

通过识别屏幕元素、模拟鼠标键盘操作来控制任意图形界面,不限于浏览器。依赖像素或可访问性树来感知界面状态。

网页智能体

主要操作浏览器内的网页,利用 DOM 树、HTML 结构和网页交互模式来导航、填表和提取信息。

故事对应

  • 老甲能进任何店铺:GUI 智能体,面对任意图形界面,靠视觉和元素感知
  • 老乙只认告示栏:网页智能体,依赖网页结构和 DOM 信息
  • 店铺换招牌仍能办事:GUI 智能体的像素级适应能力
  • 告示存档两柱香列完:网页智能体利用结构信息的高效检索
  • 老甲找不到弹出窗口:GUI 智能体对网页特有交互模式的盲区
  • 数据转两次漏了:跨桌面和网页的工作流需要专门的桥接逻辑

落到自动化选型

操作对象是网页时优先选网页智能体——解析 DOM 比像素识别更快、更准、更省成本。操作对象是桌面软件、银行终端、后台管理系统或需要跨窗口交互时,才用 GUI 智能体。跨浏览器和桌面的复杂流程不能靠一个智能体硬撑,需要设计专门的衔接步骤并对中间数据做校验。当供应商说能操作任何界面,问清楚它靠 DOM 还是靠截图识别——这直接影响准确性、速度和维护成本。