← 概念辨析に戻る

Concept Contrast Fable

タスク経路全体を評価するのか、各ラウンドの回答を評価するのか

先に結論:多段階タスクでは、各ラウンドの礼儀と正確さだけを見ると、全体の道が到達したか、遠回りしたか、荷物を落としたかを見落とす。軌跡評価はタスクが納品されたかを答え、逐次評価は各対話が適切だったかを答える。

多段階タスクでは、各ラウンドの礼儀と正確さだけを見ると、全体の道が到達したか、遠回りしたか、荷物を落としたかを見落とす。軌跡評価はタスクが納品されたかを答え、逐次評価は各対話が適切だったかを答える。

寓話

二人の考官

商号は使い走りを一批採用し、貨物伝票、契約、見本を各城に届ける役目を担わせた。店主は二人の考官を招き、使い走りの良し悪しを評価させた。一人目はカウンターの後ろに座り、使い走りに一駅ごとに報告させた。彼は各報告が明確か、礼儀正しいか、正しい呼称を使っているかだけを評価した。報告が立派な者は高得点、どもる者は低得点。

第二の考官は櫃の前に座らず、走り使いと共に道のりを最後まで歩く。報告が立派かは見ず、出発時に貨物票を揃えたか、途中で山を越える近道をしたか、届け時に欠品がなかったか、顧客が受領したかだけを見る。道のりを歩き終えてから採点する。

第一回評定結果が出て、二人の考官の点数はまったく合わなかった。報告が立派な第一位は、道中で荷を二つ失い、三度曲がり、届けたとき約定より半日遅れた。報告がたどたどしい一名の走り使いは、貨物票が揃い、路線が最短で、顧客がその場で受領した。

店主は二つの評価を並べて見て、それぞれに用途があると気づいた。カウンター考官は、使い走りが人とコミュニケーションできるか、予期せぬ事態で明確に説明できるかを見抜ける。同行考官は、タスクが本当に完了したか、途中に隠れたリスク行動がないかを見抜ける。

商号は後に二つの評価を合わせて人を見るようになった。走り使いは道中で荷を落としたが報告は明快で、道の試験官は経路点を引き、カウンターの試験官はコミュニケーション点を与えた。二つの信号が並行することで、番頭は美しい報告に惑わされなくなり、一度の口下手だけで荷を届けられる人を否定することもなくなった。

新しく来た自動走行車は考核をより複雑にした。車は決して報告しないが、各趟で完全な経路を自動記録できた。経路だけで評価しようという提案もあったが、ある時、車が顧客の門口で半時間待っても一言も発せず、顧客は誰も来ないと思って立ち去ってしまった。店主は、経路だけを評価するとコミュニケーションが必要なすべての环节を見落とすことに気づいた。

最後に店主は各評価票に二欄を設けた。この旅は届いたか、各段の処理はどうだったか。届いたが途中で問題があった場合は中間ステップを調べ、途中は立派だが届かなかった場合は経路の終点を調べる。両欄を埋めて初めて、走り使いを続ける価値があるか分かる。

後に試験官は二枚の答案を一緒に綴じました:単一ステップでよく答えても小さい点しか得られず、任務全体を完遂し、引き継ぎに誤りがなく、道を間違えなければ、初めて本当に合格とみなされました。

軌跡評価

agent がタスクを完了する全過程を評価し、経路が正しいか、手順が必要か、途中に誤りや冗長がないか、最終的に目標を達成したかに注目する。

ラウンドごとの評価

エージェントの各インタラクションにおける単一ターンの応答品質を評価し、回答が正確か、関連しているか、安全か、語調とフォーマットの要件に合っているかに注目する。

物語の対応

  • 窓口の試験官:各ラウンドを評価し、毎回のインタラクションのコミュニケーション品質だけを見る
  • 経路考官:軌跡評価。タスクの全経路と最終結果に注目する
  • 報告は立派だが荷物を紛失:単一ターンのパフォーマンスは良いがタスクは未完了
  • 報告はたどたどしいが届く:単一ターンのパフォーマンスは悪いがタスクは成功裏に納品
  • 自動お使い車:純粋な軌跡評価では対話判断が必要な段階を見落とす

Agent 評価体系に落とし込む

カスタマーサービス、チケット処理、データ照会などの多段階タスクでは、評価体系に軌跡評価と逐次評価の両方を含める必要がある。軌跡はタスクが閉ループか、ステップが妥当か、権限越えや重複呼び出しがないかを見る;逐次は各回答が安全、正確、適切かを見る。単一ラウンドのみを評価すると、会話はできるが仕事ができないエージェントが高得点を取る。

京ICP备2026014272号