← 概念辨析に戻る

Concept Contrast Fable

汎用インターフェースを操作するエージェントとWebページを操作するエージェント

先に結論:GUI エージェントは任意のグラフィカルインターフェース——デスクトップソフト、基幹システム、さらにはブラウザ以外のウィンドウ——を対象とする。Web エージェントは主にブラウザと Web ページを対象とする。どちらもボタンをクリックできるように見えるが、操作対象、可観測性、失敗モードは大きく異なる。

GUI エージェントは任意のグラフィカルインターフェース——デスクトップソフト、基幹システム、さらにはブラウザ以外のウィンドウ——を対象とする。Web エージェントは主にブラウザと Web ページを対象とする。どちらもボタンをクリックできるように見えるが、操作対象、可観測性、失敗モードは大きく異なる。

寓話

ある役所に二人の差役が現れた

県衙には二人の下役がいて、どちらも使いに出されていた。老甲はどんな店にも入れた——店構えがどんなに奥まっていても、櫃がどんなに高くても、引き出しが左にあっても右にあっても、彼は扉を押し開けて入り、看板を見、櫃を触り、引き出しを開けた。老乙は通り沿いの公文告示欄しか見なかったが、どの告示の形式、落款の位置、印章の様式も知っており、紙が替わっても見分けられた。

ある時、町中の店が看板を替えた——木の札を銅の札にし、カウンターを二歩前に動かした。老甲は入って一周し、茶一杯の時間で帳簿棚を見つけ、いつも通り用を済ませた。老乙は通りで新設された三枚のガラス扉に出くわし、どう押せばよいかわからず、扉の外で立ち尽くした。その日、皆が老甲は使えると言った。

別の日、県令は全城の過去三か月分のすべての布屋の告示を見たいと言った。老甲は一軒一軒回り、五日かかり、時には店主が告示を壁の隅に丸めてしまったために見落とすこともあった。老乙は告示板のアーカイブ目録を引き出し、線香二本分で一覧を作り終えた。県令は老乙こそ宝だと言った。

本当に差を露呈したのは銀を配る仕事だった。老甲は倉庫に入って品を点検し、帳簿は机に、銀は箱に、印は引き出しにあり、手際よく処理した。もう一つの仕事は公文の枠に書式通りに記入するだけだったが、老甲はかえって筆を下ろす空欄を見つけられなかった。その用紙が折り頁の裏に挟まっており、彼は折り頁を別の帳冊だと思い込み、その場で立ち尽くした。

師爺は仕事の種類で割り振り始めた。屋内でカウンターを見て、引き出しを触り、店の調度を識別する必要があるものは老甲に。告示欄の目録に沿って文書を探し、枠に従って票を書き、落款の形式を照合する必要があるものは老乙に。しかし、倉庫に入って品を数え、その結果を街頭の告示欄に清書する必要がある仕事を誰に渡すべきかは、誰も言えなかった。二人とも半分しか担えない。

ある時、役所が新しいフローに変えた。まず倉庫の帳簿からデータを書き写し、次に城門の告示板でサプライヤー受領書を記入する。老甲は前半を完了でき、老乙は後半を完了できたが、途中で二回用紙形式が変わり、斤量と箱数の書き方が合わず、誰も気づかなかった。サプライヤーが返品票を送ってきて初めて、手作業で橋渡しした段階が抜けていたとわかった。

師爺は後に表を作り、仕事を操作対象で三種類に分けた。店舗のカウンターだけに触れるもの、告示文書だけに触れるもの、両者を橋渡しする必要があるもの。第三類は専用の接続ロジックを設計する必要があり、二人の役人が自動的に協力することを期待してはいけない。まず二人の役人を同じ種類の人間として扱い、同じやり方で仕事を割り振ると、時間は誤った分業に費やされる。

GUI エージェント

画面要素を識別し、マウスとキーボード操作をシミュレートして任意のグラフィカルインターフェースを制御する。ブラウザに限定されない。ピクセルまたはアクセシビリティツリーに依存してインターフェース状態を認識する。

ウェブエージェント

主にブラウザ内のウェブページを操作し、DOMツリー、HTML構造、ウェブのインタラクションパターンを利用してナビゲート、フォーム入力、情報抽出を行う。

物語の対応

  • 老甲はどんな店にも入れる:GUI エージェント。任意のグラフィカル界面に対し、視覚と要素知覚で対応する
  • 老乙は告示板しか認めない:ウェブエージェント、ウェブ構造と DOM 情報に依存する
  • 店が看板を替えても業務は続く:GUIエージェントのピクセル単位の適応能力
  • 告示の保存二柱香の列挙が完了:ウェブエージェントが構造情報を活用する効率的検索
  • 老甲はポップアップを見つけられない:GUI エージェントのウェブ特有のインタラクションパターンにおける盲点
  • データが二度転送されて漏れた:デスクトップとウェブをまたぐワークフローには専用のブリッジロジックが必要

自動化の選定に落とし込む

操作対象がウェブページならウェブエージェントを優先——DOM解析はピクセル認識より速く、正確で、コストも低い。操作対象がデスクトップソフト、銀行端末、バックオフィス管理システム、またはウィンドウをまたぐ操作が必要な場合にのみ、GUIエージェントを使う。ブラウザとデスクトップをまたぐ複雑なフローは、一つのエージェントで無理に支えるのではなく、専用のつなぎ工程を設計し中間データを検証する必要がある。ベンダーが『どんな画面でも操作できる』と言うなら、DOMかスクリーンショット認識かどちらに頼るのかを確認せよ——これは正確性、速度、保守コストに直結する。

京ICP备2026014272号