← 概念辨析に戻る

Concept Contrast Fable

運用指標とタスク成功率:一方は機械がうまく動いているかを見て、もう一方は機械が正しい仕事をしているかを見る

先に結論:二つのレポートが同じページに置かれると、チームは同じものを見ていると誤解しやすい。運用指標はシステムがどう動いているかを教える——応答時間、可用率、スループット。タスク成功率は Agent がユーザーの意図を完了した割合を教える。システムが高速でもタスク失敗率が半分を超えれば、ダッシュボードの緑の数字は錯覚になる。

二つのレポートが同じページに置かれると、チームは同じものを見ていると誤解しやすい。運用指標はシステムがどう動いているかを教える——応答時間、可用率、スループット。タスク成功率は Agent がユーザーの意図を完了した割合を教える。システムが高速でもタスク失敗率が半分を超えれば、ダッシュボードの緑の数字は錯覚になる。

寓話

宅配ステーションの壁にある二つのランキング

城北の宅配ステーションの壁に、二つのランキング表が貼られている。左側は「稼働ランキング」と呼ばれ、各配達員の荷物受け取り速度、一日平均配達件数、返品処理の所要時間を集計している。所長は毎日この表を見て評価を出し、数字が高い者がボーナスを受け取る。稼働ランキングの順位が月次の配分を直接決めている。

右側の表は「苦情榜」と呼ばれ、顧客苦情数、誤配・配達漏れ回数、保険金支払額を集計している。駅長はこの表をあまり見ない。苦情データは月末にしか集計されず、いつも同じ数人が最下位で、会議で名を挙げられるだけで終わるからだ。二つの榜は同じ壁に貼られているが、注目度は十倍違う。

双十一のピーク時、老羅という配達員が稼働ランキングで首位に躍り出た。彼の日平均配達量は他の同僚より一截高く、集荷速度も遥かにリードしていた。駅長は朝礼で公に称賛し、老羅のやり方を模範として広めた。

月末にデータを集計したとき、奇妙なことが起きた。老羅は配達件数が第一だったが、顧客苦情数も第一だった。詳しく調べると、老羅は速度を上げるため、大きな荷物を習慣的に団地の入り口に置いて上まで届けず、代理署名の後も受取人に通知していなかった。システムの記録はすべて「受領済み」で、運転ランキングはすべて青信号だったが、顧客の苦情ランキングのフィードバックが真の完了品質を露呈した。

駅長はこの件を地域会議に持ち込んだ。地域マネージャーはホワイトボードに二つの円を描いた:左には「システムレベルの指標」——荷物受取時間、配達数、受領率。右には「タスクレベルの指標」——顧客が荷物を受け取り、内容が完全で、苦情がない。二つの円には重なりがあるが、面積は大きく異なる。

駅では後に評価規則を変えた。運転榜の順位はもはや直接ボーナスを決めず、一つの閾値条件を加えた。苦情率が地域平均線を下回る者だけが順位報酬に参加できる。運転榜は効率を管理し、苦情榜は正確性を管理し、どちらも欠かせない。

新規則の初月、効率は一時的に少し下がった。配達員がもう荷物を投げられなくなったからだ。しかし四半期決算では、拠点の返品率と賠償支出がほぼ半分に下がり、利益はむしろ上がった。駅長は年末総括に一言書いた。機械が速く走ることは必要条件だが、正しく走ることが十分条件だ。最初のものを二番目として報告してはいけない。

運用指標

システムの稼働状態を測る指標——レイテンシ、スループット、可用率、エラー率。注目するのは「システムがうまく動いているかどうか」である。

タスク成功率

Agentがユーザーの意図を完了した割合を測る——タスクが正しく閉じたか、結果が期待に合うかを見ており、注目するのは「仕事が正しくできたかどうか」だ。

物語の対応

  • 运转榜の取件速度と配達量:運用指標であり、システムレベルの運行効率
  • 苦情ランキングの誤配・配達漏れと顧客フィードバック:タスク成功率、ユーザーの意図が正しく完了されたか
  • 老羅は稼働ランキング1位だがクレームも1位:運用指標が良いからといってタスク成功率が高いとは限らない
  • ボーナスと苦情率のしきい値:運用指標とタスク成功率を組み合わせて評価し、偏った最適化を防ぐ

Agent プロジェクトに落とし込む

Agent の監視ダッシュボードには、二組の独立した指標がなければならない。運用指標はシステムの健全性を見る——API レイテンシ、Token 消費、エラー率。タスク成功率は業務の閉ループを見る——ユーザーのリクエストが正しく理解されたか、Agent の行動が正しい結果に到達したか、人手による介入や再試行が必要か。二組の指標にはそれぞれアラートしきい値を設定する。システムが全部グリーンでもタスクが落とし穴にはまることは、システムが落ちるより発見しにくく、傷も深い。

京ICP备2026014272号