← 概念解説に戻る

Concept Fable

評価フレームワーク

先に結論:評価フレームワーク Evaluation Harness は、再現可能なテスト環境とユースケースの集合であり、モデルや Agent がさまざまなタスク、境界条件、ツール呼び出し、レイテンシ、品質、失敗シナリオでどのように動作するかを評価するために用いる。これによりチームは、一度のデモや主観的な感覚でシステムが良くなったか判断するのではなく、変更前後で品質を比較できる。

Evaluation Harness · 品質保証

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

競馬は一度のスプリントだけでは判断できない

王国は毎年、使者を選ぶ。かつては試験官がその場で適当に出題した。今日は山道を走らせ、明日は合言葉を暗記させ、明後日は密書を届けさせる。賢そうに見える者が選ばれた。

数年後、国境で問題が起きた。選ばれた使者は晴天では速く走ったが、夜の雨では道に迷った。合言葉を暗唱できる者も、急ぎの手紙を間違った家に届けた。考官たちは延々と議論した。毎年問題が異なるため、誰が本当に信頼できるか誰も言い切れなかったからだ。

王はまず試験官にもっと問題を出すよう求めた。問題が増え、場はさらに賑やかになったが、比較は難しくなった。ある使者は平坦な道を引き、別の使者は雪山を引いた。点数を並べても公平ではない。

老駅長は固定の試練場を作ることを提案した。中には同じ山道、夜道、誤った門札、偽の催促、時間制限がある。各信使は同じ手順を一通り歩み、どこで誤り、どれだけ時間がかかり、助けを求められるかを明確に記録する。

最初の試走の後、多くの「賢そうに見える」者が地を露わにし、遅い伝令も複雑な道で安定して勝ち抜いた。考官はついに、誰の印象が良いかを争うのではなく、具体的な能力を議論できるようになった。

試場は国王の代わりにすべてを決めるわけではありませんでした。島への手紙を送るには、新たに水路の関所を追加する必要があり、国境のルールが変われば古い問題も更新しなければなりません。その価値は、選抜を気まぐれな演芸から、再現可能で比較可能、検証可能な検査へと変えることにありました。

試場にはいくつかの誘導問題も置かれた。偽の急信は人を規則違反へ急がせ、誤った門番号は投機的な抜け道へ誘い、夜道は助けを求めるかを試す。これは使者を困らせるためではなく、実際に道に出てから最もよくある失敗を網羅するためだ。駅長は採点も分解した。速度、正確さ、助けを求める力、秘密保持、障害対応をそれぞれ記録する。速く走っても合言葉を漏らす者は、総合点で覆い隠されてはならない。遅くとも毎回危険情報を正確に伝えられる者は、より複雑な道に適するかもしれない。固定された試場によって、能力の輪郭が議論可能になる。国王もそれによって訓練法を比較できる。新しい訓練が同じ試場で改善を示さなければ、ただ賑やかに見えるだけで普及されない。駅長は言った。本当の試験は未来の道に似ているべきで、試験官のその日の気分に似てはならない。

その後、伝令の訓練法を変えるたびに、駅伝所はまず試験場を走らせた。皆は「この人はできそうに見えるか」ではなく、同じ重要な場面のセットで実際にタスクを完了するかを見るようになった。

明らかにする

この物語が語るのは:評価フレームワーク

評価フレームワーク Evaluation Harness は、再現可能なテスト環境とユースケースの集合であり、モデルや Agent がさまざまなタスク、境界条件、ツール呼び出し、レイテンシ、品質、失敗シナリオでどのように動作するかを評価するために用いる。これによりチームは、一度のデモや主観的な感覚でシステムが良くなったか判断するのではなく、変更前後で品質を比較できる。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 新馬:新しいモデル、Agent、プロンプト、またはツールチェーン
  • 一度のスプリント:単発のデモや少数サンプルで、効果が良く見えても安定性を意味しない
  • 泥地、石畳、狭い橋、太鼓の音:多様化したテストケース、境界条件、ストレスシナリオ
  • 時間、失敗、回復状況を記録する:評価指標。正確率、遅延、失敗率、回復能力などを含む
  • 数ラウンドの訓練後に同じセットの会場で再実行:変更前後で同じ評価セットを使って回帰テスト
  • 普通の手紙は送れるが山道の重い荷は送れない:評価結果に基づいて適用範囲と制限を定義する
  • 再現可能な場:Evaluation Harness の核心的価値は安定・再現可能・比較可能

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

guardrailsregression testingagent evalsworkflows信頼性
京ICP备2026014272号