← 概念解説に戻る

Concept Fable

コンピュータの使用

先に結論:Computer Useとは、モデルが画面、マウス、キーボード、またはUI自動化を通じてコンピュータ環境を直接操作する能力を指す。これによりAgentはAPIが存在しない、インターフェースが不完全、またはデスクトップソフトウェア経由でしか完了できないタスクを処理できる。企業価値はAIをレガシーシステムと実際のオフィスワークフローに接続することにあるが、リスクも高い:画面理解、動作記録、権限分離、人手による確認、ロールバック手段、検収証拠が必須である。

Computer Use · Agent capability

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

画面を読める徒弟が、初めてカウンターに座る

城に古い票号があった。カウンターはすべて木の格子とスライド式のつまみでできている。外の新しい経理係は裏口から直接帳簿を書き換えようとしたが、票号には裏口の帳路がなく、預け入れ、引き出し、住所変更、紛失届はすべてカウンターで格子に従って操作するしかなかった。

店主は木の手を一匹呼んだ。それはカウンターの上の字格を見ることができ、スライダーを動かし、伝票番号を一枡ずつ記入できた。最初の実演で、木の手は客の住所を無事に直し、保存の印も押した。

皆が拍手しようとした時、老いた仲間が尋ねた。住所変更後、郵路冊は変えるのか。押送牌は刻み直すのか。旧住所の未受取手紙はどう処理するのか。木手は止まった。彼はカウンターを操作できるが、仕事全体の後続を理解していない。

店主はさらに手順を並べた:まず身元を検証し、次に主簿を変更し、次に郵路冊を変更し、未受取の手紙を確認し、最後に人に再確認を求める。見にくい欄、ポップアップする警告札、異常な金額に遭遇したら、木手は必ず止まって指示を仰がなければならない。

店主は喜ぶのが早すぎた。二度目に木の手は「保存」を「作廢」と押し間違え、三度目は飛び出した赤い紙に遮られ、先に確認すべきか終了すべきか分からなかった。それはカウンターを操作できても、各動作の結果を必ずしも理解しているわけではない。

票号はやむを得ず木手に規則を加えた。まず画面をよく見て、一マスずつ照合し、取り消し可能な小さな操作を行う。支払い、口座解約、改名といった重大な事柄に遭遇したら、必ず止まって人に押印を求める。木手の価値は古いカウンターで人の代わりに移動しクリックできることにあり、リスクも本当に動くことから来る。画面を見せることは第一歩にすぎず、どこに触れられるかを制限する必要もある。

後に木手は反復的で明確な窓口業務だけを専門に行った:票番号の確認、書類の記入、領収書のダウンロード。金、身分、取り消し不能なボタンに関わることはすべて、ゆっくり進める必要がある。古い票番号はそのため窓口を解体する必要もなく、鍵をすべて渡すこともなかった。後に木手は反復的で明確な窓口業務だけを専門に行った:票番号の確認、書類の記入、領収書のダウンロード。金、身分、取り消し不能なボタンに関わることはすべて、ゆっくり進める必要がある。古い票番号はそのため窓口を解体する必要もなく、鍵をすべて渡すこともなかった。

それ以来、票号はこの技が裏口の帳路を持たない古いカウンターに適していると知った。人のように見て、クリックし、入力し、ページをめくる。これは表層の操作入口を解決するもので、完全な業務判断を自動的にもたらすものではない。

明らかにする

この物語が語るのは:コンピュータ使用

Computer Useとは、モデルが画面、マウス、キーボード、またはUI自動化を通じてコンピュータ環境を直接操作する能力を指す。これによりAgentはAPIが存在しない、インターフェースが不完全、またはデスクトップソフトウェア経由でしか完了できないタスクを処理できる。企業価値はAIをレガシーシステムと実際のオフィスワークフローに接続することにあるが、リスクも高い:画面理解、動作記録、権限分離、人手による確認、ロールバック手段、検収証拠が必須である。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 旧カウンターシステム:現代的なAPIを持たないレガシーソフトウェアまたはデスクトップ環境
  • 賢い徒弟:理解と計画の能力を持つモデル
  • 壁のボタン説明:静的スクリプトで動的UIを無理に貼る素朴な修補
  • ボタンの移動とポップアップの変化:実 GUI の脆弱性と状態変化
  • 眼鏡と手袋:画面知覚、マウス・キーボード制御、UI自動化の能力
  • 操作マニュアル:Computer Use の動作ログ、スクリーンショット、監査可能な軌跡
  • 店主はうなずいた:高リスクな画面操作における人間の確認
  • 店主は検収者に変わる:人機協同は自ら操作することから納品を監督することへ

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

GUI agentbrowser agent

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号