← 概念解説に戻る

Concept Fable

軌跡評価

先に結論:軌跡評価は、Agent の実行過程における計画、推論ステップ、ツール呼び出し、観察結果、再試行、例外処理、最終出力を全体的に評価する。多段階タスクに適している。最終回答が過程における越権、まぐれ当たり、誤ったツール呼び出し、再現不能な経路を覆い隠すことがあるからだ。企業の品質閉ループは trajectory と trace を組み合わせ、ステップ、リスク、結果で採点し、正しい失敗、危険な成功、真に信頼できる成功を区別すべきである。

Trajectory Evaluation · Evaluation

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

足跡を見て初めて、猟師がなぜ手ぶらで帰ったかがわかる

猟師は山に入り鹿を追い、夕暮れに空手で戻った。村長は結果だけを見て、彼を失敗と判定した。猟師はうつむいて黙り、周囲も彼が一日中怠けたと思った。

老いた猟師はすぐに結論を急がず、人々を連れて山道を見に行った。雪の上には足跡、折れた枝、一時的に迂回した小川、そして長くとどまった痕跡があった。

最初の確認では、最後の足跡だけを見た。その区間は確かに空谷へ通じており、猟師が道を誤ったように見えた。しかしさらに前を見ると、主路が落石で塞がれており、彼が迂回するのは唯一の選択だったと皆は気づいた。

村長はさらに、回り道が合理的ならなぜ鹿をまだ仕留められないのかと尋ねた。老いた猟師は足跡をたどり続け、猟人が山腹で新しい蹄の跡を追った後、羊の蹄を鹿の蹄と誤認し、その後半日ずっと間違った方向へ進んでいたことを見つけた。

最終的に獲物がいたかどうかだけを見れば、この二つの状況はどちらも失敗と呼ばれる:一つは正しい対応、一つは重大な誤判断である。罰や報酬が終点だけを見るなら、どこを直すべきか学べない。

村では後に狩りを評価する際、何を持ち帰ったかだけでなく、途中の観察、選択、迂回、待機、誤りの修正も見るようになった。足跡は判断がどう形成されたかを示し、どの一歩が後を狂わせたかも露呈させる。

狩人は依然として結果に責任を負うが、結果はもはや唯一の証拠ではない。複雑な行動を評価するには、それが通った経路を見ねばならない。どの判断が妥当で、どの偏りが修正可能で、どこが単なる運だったかを。

後に村の訓練も変わった。老猟師はある一歩を選び、若者に歩き直させる。もしその時、溪水の上昇に気づいていたら、他にどの道があったか。もしこの蹄印を見たら、羊ではないとどう確認するか。評価の道筋は失敗を弁護するためではなく、結果を学びうる選択に分解するためである。 村長は後に認めた。鹿肉だけを見るのが最も楽だが、最も誤って教えやすい。幸運は悪い判断を覆い隠し、悪天候は良い選択を遮ることもある。足跡をよく見てこそ、慎重さを褒めるべきか、誤判を正すべきか、それともただ運が悪かったと認めるべきかがわかる。 後に若い猟師も足跡を見せるのを恐れなくなった。足跡は訓練を具体的な一歩に落とし込めるからである。 この言葉は後に新人の手引きに書き込まれ、まず現場の代償を見てから、省力化を語るよう皆に促した。 この注意があるからこそ、後に似た難題に再び出会った時、皆は慌てて古い方法を当てはめようとしない。 どの一歩がリスクを負うかを先に問い、それから手放すべきか、締めるべきか、流れを組み直すべきかを決めることを学んだ。 この経験は素朴に見えるが、後の選択から多くの曖昧さと僥倖を減らした。

明らかにする

この物語が語るのは:軌跡評価

軌跡評価は、Agent の実行過程における計画、推論ステップ、ツール呼び出し、観察結果、再試行、例外処理、最終出力を全体的に評価する。多段階タスクに適している。最終回答が過程における越権、まぐれ当たり、誤ったツール呼び出し、再現不能な経路を覆い隠すことがあるからだ。企業の品質閉ループは trajectory と trace を組み合わせ、ステップ、リスク、結果で採点し、正しい失敗、危険な成功、真に信頼できる成功を区別すべきである。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 狩人の完全な行程:Agent trajectory
  • かごの中の獲物:最終出力またはタスク結果
  • 禁じられた森と切られた縄印:権限逸脱、違反、危険な中間動作
  • 足跡図と結び目マーク:trace、span、tool call logs、観察記録
  • 幼獣の前で追跡を停止:正しい拒否または安全な中止
  • 危険な近道で獲物を持ち帰る:結果は成功だがプロセスは許容できない
  • 風向きの読み方とツール選択を修正:軌跡に基づいて訓練可能な箇所を特定する
  • 最終洞察:Trajectory Evaluation が評価するのは Agent がどのように結果に到達するかである

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

traceevalagent path

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号