← 概念辨析に戻る

Concept Contrast Fable

コンピュータ使用とGUIエージェント

先に結論:一方は「画面上の物をどう操作するか」を語り、もう一方は「どんな目標で一連の画面操作を完了するか」を語る。操作方法を目標そのものと見なすと、ボタンは押せるが押した後に何をすべきか分からないシステムを作りやすい。

一方は「画面上の物をどう操作するか」を語り、もう一方は「どんな目標で一連の画面操作を完了するか」を語る。操作方法を目標そのものと見なすと、ボタンは押せるが押した後に何をすべきか分からないシステムを作りやすい。

寓話

マウスを動かせる手と目標のある手

老銭の票号では、まだ古いカウンターの列が使われており、印章、引き出し、帳簿のページはすべて旧来の決まりに従って配置されていた。新しく来た機敏な見習いは、一見似ている二つの仕事を任されていた。一つは、カウンターに何があるかを見て、それに従って押し、書き、写すこと。もう一つは、ある仕事が最初から最後までどのカウンターを通るべきかを知ること。新しい小僧は面倒に思い、二冊の帳簿を一冊にまとめてしまった。どうせどちらも成否に関わるのだから。

最初は誰も反対しなかった。学徒が住所票を一冊の帳簿に清書できると、人々は彼が転居の仕事全体を一人で終えられると思い込み、店主は頁数が減ったのを見て、彼らが手間を省いたと褒めた。しかし繁忙期になると、旧帳は突然説明できなくなった。前の山が終わっていないのか、後の山が守られていないのか、誰も答えられなかった。

彼らはまずより多くの印とスローガンを補い、各人にもっと詳しく書くよう求めた。結果、冊子は厚くなり、争いは増えた。事が起きたとき、誰もが自分をかばう一言を見つけられたが、どちらを先に救うべきかは誰も分からなかった。

老管事は皆を庭に呼び集め、実際の経過に沿って歩き直させた。目の前の動作に関心のあるものは第一冊に、後続の負担に関心のあるものは第二冊に入れた。二冊は互いに参照し合うが、もはや同じページに混ざることはない。

彼は最初のページを書いて止まった。後ろの護送名簿、月次決算、受領証は誰も手をつけなかった。分けた後、多くの古い結論が変わった。ある仕事は賑やかに見えても実際には厄介を防いでおらず、ある手配は普段目立たなくても災害時に全体を守った。

新人が再び混同しないよう、老管事は彼らにそれぞれ小さな案件を処理させた。二冊の帳簿がそれぞれ自分の問題に答えられ、かつ境界で互いに接続できたときだけ、その小さな案件は合格となる。もし誰かが依然として二つの事柄を一ページに書くなら、現場に戻って誰が先に動き、誰が最後に責任を負うかをもう一度見なければならない。はっきり見えないときは、一度多く問い合わせるほうがましで、曖昧な帳簿を一夜越しにしてはならない。本当に事故が起きる日には、一行の区別が欠けるだけで一隊の人が無駄に忙しくなるからだ。

主人は後に彼に仕事の道筋図を渡した。まず総帳簿を直し、次に護送房に通知し、最後に古い控えを回収する。各段階で誤れば前の段階に戻る。後に新人が入ると、老管理人は一言だけ覚えさせた。目の前の物を操作できるのは手先の器用さにすぎない。一件の仕事全体の来歴を守れる者こそ、任せられる。

コンピュータ使用 (Computer Use)

モデルがコンピュータの画面を直接操作する能力。画面内容の理解、UI 要素の特定、マウスクリック、キーボード入力、スクロールなどの基本操作を含む。これは「グラフィカルインターフェースとどう対話するか」を解決するものであり、操作の業務目標や順序を決める役割は担わない。

GUI エージェント

コンピュータ使用能力の上に、目標計画、手順編成、完了条件の検証を加えた知能システム。一つの業務目標を複数の GUI 操作手順に分解し、順に実行して各手順の完了状態を確認し、異常時には自律的に戦略を調整する。

物語の対応

  • モデルは保存完了後に停止する:コンピュータ使用は操作能力を解決したが、目標編成能力はなかった。
  • 住所変更後は物流システムの更新やコンプライアンスチケットの発行も必要:真の業務目標は複数システムの協働を要する。
  • GUI エージェントフレームワークに業務プロセステンプレートを追加:コンピュータ操作の上に目標分解とステップ編成を重ねた。
  • 下層が操作を管理し、上層が目標を管理する階層図:二つの層がそれぞれの役割を果たし、能力は積み重なるが責任は異なる。
  • 重複データ入力のシナリオにGUIエージェントは不要:シナリオ目標の複雑さがオーケストレーション層の要否を決める。

プロジェクトに落とし込む

GUI 自動化の要件を評価するときは、まず操作フロー図を描き、各ステップに二種類のラベルを付ける。操作複雑度(ボタンが明確か、ウィンドウが標準的か)と目標複雑度(システムをまたぐか、前段ステップの結果に依存するか、分岐判断があるか)だ。操作複雑度が高く目標複雑度が低い場面では、コンピュータ使用モジュールを優先する。目標複雑度が高ければ、操作が簡単でも GUI エージェントフレームワークでステップ編成と例外処理を管理する必要がある。

京ICP备2026014272号