← 概念解説に戻る

Concept Fable

ラウンドごとの評価

先に結論:Per-Turn Evaluation とは、Agent や対話システムを最終結果だけでなく、各ターンの行動、ツール呼び出し、観察、返答ごとに評価することである。長い連鎖のタスク、カスタマーサービス、コード修正、マルチツールのワークフローに適し、具体的な失敗ステップを特定し、指示遵守、ツール選択、状態更新、安全性、進捗の質を測れる。

Per-Turn Evaluation · 評価方法

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

一手ごとのそばにある小さなスコアボード

棋院はかつて、弟子の評価を最終的な勝敗だけで見ていた。老棋士はそれが公平だと思っていた。盤を片付ける時、勝った者が良く、過程は問わなくてよいと。

その後、対局は長くなり問題が露呈した。最初の十手はうまく打つのに、中盤で乱れる者。最後に勝ったが、相手が間違えただけの者。終局だけを見ると、師匠は実力と運を区別できない。

院長はまず皆にもっと何局か打つように言った。サンプルは増えたが、どの一手が局面を誤解したものか、どの一手が単に対手に追い込まれただけなのかは、まだ見分けられない。学徒もどこを直すべきか分からなかった。

彼はまた試合後の自己評価を求めた。学徒はしばしばまぐれを妙手と言い、致命的なミスを軽く扱う。振り返りは書くほど美しくなるが、訓練は正確にならなかった。

あるコーチが盤のそばに小さなスコアボードを置いた。一手ごとに、そのときの目標、選択可能な動作、判断理由、局面の変化、計画に近づいたかを記録した。

評審はもはや終局だけを見ず、第三步で局勢を誤読したか、第七步で手段を誤ったか、第十二步で脅威を見落としたかを見られる。勝局でも僥倖によるものは低く評価され、敗局でも各步が当時の情報下で合理的なら高得点が保たれる。棋院はついに、結末だけを報酬とするのではなく、具体的な能力を訓練できるようになった。

その後、棋院は小さなスコアボードを処罰だけでなく訓練に使った。ある徒弟はいつも序盤で目標を誤判するので序盤を練習し、別の者はいつも中盤で交換を誤るので中盤を専門に練習した。

最終スコアは依然として残される。勝たなければ完了とは言えないからだ。しかし各手の記録により、先生は勝敗がどのように起こったかを知ることができる。棋院はもはや一局を一つの数字に押し込めず、長い過程を改善可能な多くの小さな判断に分解する。 後に初心者が入門するとき、老師匠はまず抽象的な名目を講じず、あの失敗を振り返らせる。もともとどこが直感に頼っていたか、最初の修正がなぜ不十分だったか、新しい取り決めがどのようにリスクを検査可能な位置に留めるか。彼らがこれらの細部を説明でき、いつ沿用すべきか、いつアップグレードすべきかを指摘できて初めて、この方法を本当に理解したことになる。 後に彼らはこの方法を新人の演習にも引き継いだ。まず新人に旧方法で一度やらせ、誤りがどのように現れるかを見る。次に新規則でやり直し、どのステップが事前に阻止され、どのステップが証拠を残したかを見る。新人が名前を暗記するだけなら、似た場面で依然として乱用する。適用境界、代償、失敗後の補救を語れる者だけが、独立して仕事を任される。

明らかにする

この物語が語るのは:ラウンドごとの評価

Per-Turn Evaluation とは、Agent や対話システムを最終結果だけでなく、各ターンの行動、ツール呼び出し、観察、返答ごとに評価することである。長い連鎖のタスク、カスタマーサービス、コード修正、マルチツールのワークフローに適し、具体的な失敗ステップを特定し、指示遵守、ツール選択、状態更新、安全性、進捗の質を測れる。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 全体の勝敗:最終タスク成功率
  • 各ステップの小さなスコアボード:ラウンドごとの評価
  • 目標、理由、局面変化:turn-level traces
  • まぐれの勝利:結果指標がプロセスの問題を覆い隠す
  • 誤ったツール選択:中間ステップの失敗
  • 具体的な能力を訓練する:細粒度のフィードバックに基づいて改善する。

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

対話品質評価ラウンド単位のスコアリングコンテキスト依存

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号