← 概念辨析に戻る

Concept Contrast Fable

評価と評価ベンチマーク

先に結論:評価は自分のシステムに対する品質チェックであり、問題、プロセス、採点基準はすべて自分で決める。評価ベンチマークは公開された標準問題集で、全員が同じ問題でスコアを比較する。カスタム評価を業界の通行証と見なすと、自分の実力を過大評価してしまう。

評価は自分のシステムに対する品質チェックであり、問題、プロセス、採点基準はすべて自分で決める。評価ベンチマークは公開された標準問題集で、全員が同じ問題でスコアを比較する。カスタム評価を業界の通行証と見なすと、自分の実力を過大評価してしまう。

寓話

自社の健康診断と業界の統一試験

武館は弟子の功夫を判断しようとした。師匠は毎日小さな試験を設けた。今日は回避、明日は持久力、明後日は夜道の反応。小試験は訓練に応じて変わり、弱いところを補う。

街にはまた年に一度の擂台試合があり、規則は固定で、すべての武館が参加する。擂台榜は誰が強いかを比較できるが、ある弟子の短所のために臨時に課題を変えることはない。

新館主は両者を混同した。彼は日常の小考成績を対外に吹聴し、また擂台榜で毎日の訓練を指導した。結果、弟子たちは擂台の固定招式を苦練し、本当のタスクの弱点は誰にも見えなかった。

老館主はこう注意した。小考はサービス改善のためであり、目標に合わせて設計し何度も調整してよい。擂台は共通の物差しであり、横並び比較を容易にするため、安定して公開されねばならない。

新館主は後に二冊の帳簿を分けた。訓練帳は常に変えてよく、自らの弱点を重点的に掴む;擂台帳は勝手に替えてはならず、替えれば横比較が失われる。弟子が毎日何を練習するかは訓練帳を見る;対外的に自分が城中で何位かは擂台榜を見る。

あるとき武館の擂台で順位が上がったが、師匠はなお夜道の反応を追加訓練させた。周囲が不思議に思うと、彼は言った。擂台で勝ったのは共通の型が良いことを示すだけで、自分の護送任務のリスクは自分で測らねばならない。

後に、ある弟子が専ら擂台の技を練習し、日常の護送では山道につまずいた。師匠は彼を小考に引き戻した。今日は夜道を測り、明日は雨中の荷護りを測る。共通の物差しは順位を勝ち取れるが、自らの健康診断でこそどこで転ぶかがわかる。 後に武館が門下生を募る時は、擂台の順位を示すと同時に、日常の小考がどのように弱点を見つけるかも示した。一つは外部との比較のため、一つは自己改善のため。二冊の帳簿はそれぞれ役割があり、混用すると訓練を誤らせる。 それ以来、武館は健康診断をトロフィーにせず、統一試験で訓練を代替することもなかった。訓練こそが正確だ。弟子たちも回り道が減った。より安定。訓練はより方向性を持つ。

後に武館は二冊の帳簿を分けた。内冊は各種の的を絞った試練を記録し、問題を見つけるために使う。外榜は統一された擂台の成績を記録し、位置を把握するために使う。一つはあなたを良くし、一つは他人があなたの位置を理解するのを助ける。

評価 (Evaluation/Evals)

チームが自ら問題、基準、プロセスを設計して行うシステム品質評価。柔軟でカスタマイズ可能、高頻度で、内部イテレーションの指針とする。外部との比較性はない。

評価ベンチマーク(Benchmark)

公開され、標準化され、再現可能なテストセットとスコアリングプロトコルにより、異なるシステムを横断比較できる。カスタマイズ性を犠牲にし、比較可能性と公信力を得る。

物語の対応

  • 館内評価:Evaluation、カスタム基準、自己採点、内部改善用。
  • 区の比武:Benchmark、統一標準、第三者審判、横断比較に用いる。
  • 評価基準が軟らかい:カスタム評価の採点基準が実際の業務ニーズと揃っていなければ、スコアが高くても役に立たない。
  • トレーニングチェック + 対抗摸底:内部で階層化した評価体系——一部は進歩を追跡し、一部は実戦を模擬する。

プロジェクトに落とし込む

内部評価と公開 Benchmark はどちらも行うべきだが、用途は異なる。内部評価は毎週一回実行し、イテレーションに退行がないか監視し、問題は自分の典型的な業務シナリオをカバーする必要がある。公開 Benchmark は四半期ごとに一回実行し、対外的にレベルを説明し業界の進展を追跡するために使う。最も避けるべきは、自分の評価だけを実行し、スコアは良く、顧客の実際のシナリオに載せると崩れることだ。自分で出した試験問題は、その問題を練習したことしか証明できず、他の問題ができることは証明できない。

京ICP备2026014272号