← 返回概念解读

Concept Fable精修版

计算机使用

Computer Use · Agent capability

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

会读屏幕的学徒,第一次坐到柜台前

城里有家老票号,柜台全是木格和滑钮。外面的新账房想直接从后门改账,票号却没有后门账路;凡存取、改址、挂失,都只能在柜台上按格操作。

掌柜请来一只木手。它能看见柜台上的字格,能移动滑钮,能把票据号码逐格填入。第一次演示,木手顺利把客人的住址改好,还按下了保存章。

众人刚要鼓掌,老伙计问:改址之后,邮路册要不要改?押运牌要不要重刻?旧地址的未取信件怎么处理?木手停住了。它会操作柜台,却不懂整件差事的后续。

掌柜又给它排了步骤:先验身份,再改主簿,再改邮路册,再检查未取信件,最后请人复核。遇到看不清的格子、弹出的警示牌或异常金额,木手必须停下请示。

掌柜高兴得太早。第二次木手把‘保存’按成了‘作废’,第三次被弹出的红纸挡住,不知该先确认还是退出。它会操作柜台,却未必懂每个动作的后果。

票号只好给木手加规矩:先看清屏面,逐格核对,再做可撤回的小动作;遇到付款、销户、改名这类重事,必须停下请人盖章。木手的价值在于能在旧柜台上替人移动和点击,风险也来自它真的会动。让它看见界面只是第一步,还要限制它能碰到哪里。

后来木手专做重复又清楚的柜台事:查票号、填表格、下载回执。凡牵涉钱、身份和不可撤回的按钮,都要慢下来。旧票号因此不用拆柜台,也不把钥匙全交出去。后来木手专做重复又清楚的柜台事:查票号、填表格、下载回执。凡牵涉钱、身份和不可撤回的按钮,都要慢下来。旧票号因此不用拆柜台,也不把钥匙全交出去。

从此票号知道,这门本事适合没有后门账路的老柜台:像人一样看、点、填、翻页。它解决的是表面操作入口,不自动带来完整业务判断。

揭示

这个故事讲的是:计算机使用

Computer Use 指模型通过屏幕、鼠标、键盘或 UI 自动化直接操作计算机环境的能力。它让 Agent 能处理没有 API、接口不完整或只能通过桌面软件完成的任务。企业价值在于把 AI 接入遗留系统和真实办公流程,但风险也更高:必须有屏幕理解、动作记录、权限隔离、人工确认、回滚方案和验收证据。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 旧柜台系统:没有现代 API 的遗留软件或桌面环境
  • 聪明学徒:具备理解和规划能力的模型
  • 墙上按钮说明:用静态脚本硬贴动态 UI 的天真修补
  • 按钮挪动和弹窗变化:真实 GUI 的脆弱性和状态变化
  • 眼镜和手套:屏幕感知、鼠标键盘控制与 UI 自动化能力
  • 操作册:Computer Use 的动作日志、截图和可审计轨迹
  • 掌柜点头:高风险界面操作的人类确认
  • 掌柜变成验收者:人机协同从亲自操作转向监督交付

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

GUI agentbrowser agent

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。