寓言
会点鼠标的手和有目标的手
老冯的自动化公司接到一个银行客户的需求：让 AI 帮忙处理后台的账户信息变更。银行的后台系统是一套老旧的桌面应用，没有 API，所有的操作都要靠人点鼠标。老冯让团队用一个计算机使用模型来解决——模型能看懂屏幕上的按钮和输入框，能执行点击、键入、滚动。
演示那天，老冯的团队让模型处理一笔典型的「客户地址变更」。模型看懂了当前窗口，找到了地址输入框，把新地址敲进去了，然后点击了「保存」。保存成功后，页面跳转到了操作完成提示。模型停住了——它不知道接下来要干什么。
客户的业务主管在旁边提醒：地址变更之后还要更新物流系统里的配送信息，还要触发一个合规审核工单。模型能操作屏幕上的元素，但不知道一笔业务总共要跨几个系统、走哪些步骤、每步完成之后该做什么。计算机使用解决了「怎么点」，但没有解决「按什么顺序、点到什么时候算完」。
老冯把团队叫回来，给系统加了一层 GUI 智能体框架。这一层不负责识别按钮和输入框，而是定义了完整的业务流程模板：地址变更这个业务目标拆成四个子任务——修改账户信息、更新物流系统、发起合规审核、发送变更通知。每个子任务有明确的完成条件，完成之后自动进入下一个。计算机使用模块在每个子任务里负责执行屏幕操作，GUI 智能体负责判断下一步该做什么。
重新演示那天，同样的地址变更任务跑得很顺畅。模型在账户修改窗口做完操作、点击保存之后，GUI 智能体检测到保存成功，立刻把流程推进到更新物流系统的步骤。模型识别出物流系统窗口还没打开，自动去任务栏点击了物流应用的图标。整套流程跑完用了四分钟，没有一次人工干预。
老冯在复盘会上画了一张分层图：底层是计算机使用——像素理解、元素定位、鼠标键盘操作，管的是「看懂屏幕并且动得了手」。上层是 GUI 智能体——目标拆解、步骤编排、完成条件验证、异常恢复，管的是「按什么路线完成一个目标」。底层再强，没有上层，就只是一双灵活的手。
后来团队遇到一个反例：一个客户只想要数据录入自动化，目标是「把 Excel 里的数据一行行填到网页表单里」。这个场景用不上 GUI 智能体的编排能力——任务本身就是重复的单步骤操作。团队只部署了计算机使用模块，效果也很好。老冯借这个案例总结：计算机使用适用于步骤明确的低保真操作，GUI 智能体适用于需要跨多步骤协调的高目标复杂度场景。
年底，老冯给团队定了选型原则：如果任务的复杂度在于「找到正确的按钮」，用计算机使用就够了。如果复杂度在于「找到正确的事做」，需要上 GUI 智能体。前者是手，后者是大脑加手。