← 概念辨析に戻る

Concept Contrast Fable

軌跡評価とステップ成功率

先に結論:ステップ成功率は各ステップが正しくできたかを見る。各ステップを独立に採点し、九ステップ中八ステップ正解なら八十九パーセントだ。軌跡評価は全体の流れを見る。九ステップすべて正解でも最後の一歩で行き止まりに飛び込めば、その軌跡全体は失敗だ。Agent 評価でステップ成功率だけを報告するのはよくある錯覚だ。各ステップは正しく進んだが、最後まで行っても顧客の問題は解決していない。

ステップ成功率は各ステップが正しくできたかを見る。各ステップを独立に採点し、九ステップ中八ステップ正解なら八十九パーセントだ。軌跡評価は全体の流れを見る。九ステップすべて正解でも最後の一歩で行き止まりに飛び込めば、その軌跡全体は失敗だ。Agent 評価でステップ成功率だけを報告するのはよくある錯覚だ。各ステップは正しく進んだが、最後まで行っても顧客の問題は解決していない。

寓話

道標を調べることと終点を見ること

镖局は新人の車夫を訓練するにあたり、二通りの試験方法を設けた。甲師匠は各辻に立ち、車夫が曲がるべき時に曲がったかを見る。乙師匠は終点に座り、車夫が荷を本当に届けたかを見る。

最初の月、甲師匠は喜んだ。二十の分岐点のうち、御者は平均十九で正しく進んだ。鏢頭は訓練成功を宣言しようとした。しかし乙師匠は帳簿を取り出した。五分の一の荷が目的地に届いていなかった。

鏢頭は信じず、いくつかの完全な行程を呼び寄せた。ある御者は最初の十九歩まで正しかったが、最後の分かれ道で鈴の音を聞き漏らし、四十里余分に回り道した。別の御者は一歩ずつ見ればどれも合理的だったが、つなげるとジグザグに回り込み、割れ物の磁器を揺らして壊してしまった。

甲師匠は言った。「どのステップが間違っているか指摘できる。」乙師匠は言った。「全体の旅が成功したかどうか判断できる。」二人とも間違っていない。片方だけ見れば誤判定する。镖局は試験方法を再設計した。ステップごとの検査は残し、悪い分岐点を特定するために使う。全行程の考核も残し、荷が届かないか壊れたら、旅全体を失敗と記録する。その後、どのステップが失敗を引き起こしたかをルートに戻って探す。

変更後、镖局はある古い問題に気づいた。一部の車夫はどの交差点でも規則通りに動くが、待機、転回、車線変更の間で無駄に時間を費やしすぎる。単ステップの点数は美しいが、全程は合格しない。

鏢頭はまずその数名の車夫を叱り、分かれ道での判断が安定していないと言った。車夫は悔しそうに路簽を広げた。どの分かれ道も規則通りに進んだが、第五区間で橋が崩落し、迂回した後にその後の選択を確認する者がいなかった。ある荷車は十九の分かれ道すべてを正しく進んだが、最後には隣町の倉の門前で止まっていた。

そこで镖局は全行程の振り返りを追加した。交差点は依然として見るが、御者が崩れた橋をどう発見し、どう迂回し、どう荷を守り、荷受人に適時に知らせたかも見る。甲師匠の札は小さなミスを見つけられるが、乙師匠の帳簿は旅全体が成し遂げられたかを見られる。各ステップを数えるだけでは、美しい途中経過を成功と誤認してしまう。

镖頭は最後に言った。分解して見れば部品を見つけられるが、組み合わせて見てこそこの車が走り切れるかがわかる。連続して働くものを評価するには、各ステップも、道全体も見なければならない。

軌跡評価

実行トレース全体を単位として Agent のパフォーマンスを評価する方法で、最終タスクが完了したか、経路が妥当か、無効なループがないかに注目する。「全体を通して結果が正しいか」を測る。

ステップ成功率

単一ステップ操作を単位として正解率を集計する評価方法で、各ステップの操作が期待どおりに実行されたかに注目する。これは「各ステップを単独で見て正しいか」を測るもので、ステップ間の組み合わせ効果には注目しない。

物語の対応

  • 甲組は区間ごとに交差点の注意を確認する:ステップ成功率——単一ステップを独立に採点する。
  • 乙班は車を追って目的地に到達したかを確認する:軌跡評価——全体タスクの完了度。
  • 十九歩正しく一歩誤って迂回:高いステップ成功率が重要ステップの致命的な誤りを覆い隠す。
  • 個別には正しい手順が連なると之字形になる:組み合わせ型のエラーは軌跡評価でしか露見しない。
  • 分解して位置づけ、統合して判断する:2つの評価手法の補完関係。

プロジェクトに落とし込む

Agent 評価は少なくとも二層を同時に見る。ステップ層:ツール選択の正確率、パラメータ充填の正確率、出力形式の準拠率。具体的な故障点を特定するために使う。軌跡層:タスク完了率、無効ループ回数、目標到達に要するステップ数。全体品質を判断するために使う。二層のデータを交差分析するときは一つの危険信号に注意する。ステップ正確率が高いのに軌跡完了率が低い場合だ。これは Agent が正しい道で誤った方向へ進んだことを示す。単一ステップの論理に問題はなく、全体の调度に欠陥がある。

京ICP备2026014272号