← 概念解説に戻る

Concept Fable

評価

先に結論:評価とは、人手、ルール、またはモデル審判を用いて、AIシステムのタスク品質、安全性、安定性、コストにおける性能を測ることだ。企業エージェントのevalsは、実タスク、境界シナリオ、回帰サンプル、安全レッドライン、遅延、費用をカバーし、リリースプロセスと結びつけるべきだ。評価がなければ、モデル更新、プロンプト変更、RAG調整、ツール改修はすべて感覚で判断するしかない。

Evaluation, Evals · LLMOps / quality

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

三人の師匠が皆この尺が最も公平だと言った

銅橋鎮には傘の修理屋が三軒ある。雨季を前に、町長は町中の傘を直す店を一軒選ぼうとした。三人の職人はそれぞれ見本の傘を出し、自分の傘のほうが丈夫で、軽くて、見た目も良いと言った。

鎮長は最初、皆にその場で披露させた。第一の傘は小雨の中でよく、第二の傘は強風の中でより安定し、第三の傘は開閉が最も速かった。見物人は見れば見るほど盛り上がったが、結局どれを選ぶべきか誰もわからなかった。

助手の素朴な修正は、各職人に互いを採点させることだった。結果として彼らは相手の最も弱い天気をテストに選び、自分の傘には例外を説明した。評価表は埋まったが、結論はさらに混乱した。

最初の傘を配った後、問題が露呈した。老人は傘を開くのが大変だと嫌がり、船頭は海風でひっくり返ると言い、学童は傘布がランドセルを染めると気づいた。店は舞台では勝ったが、実際の街では負けた。

町長はそこで議論を止め、まず傘が誰に奉仕するのか、どの天気で、どの失敗が許されず、どの指標が参考にすぎないのかを書き出した。彼は過去三年で最もよくある雨天の場面を集め、さらに異なる人々に試用を頼んだ。

新しい評価はもはや一度の公演だけを見ない。固定サンプル、人手判定、耐久テスト、コスト記録、失敗分類がある。傘を変えるたびに、同じシナリオ一式を走らせ、進歩したのか、後退したのか、それともある一角だけ良くなったのかを見る。

その後、三軒の店は参加できるようになったが、物語だけを持ち込むことはできなかった。データ、エラー事例、境界の説明、改版比較を持ち込む必要があった。町長も「どの傘が一番賢いか」ではなく、「どの傘が我々の求める場面で最も信頼できるか」を問うようになった。

町民は、物差しそのものも手入れが必要だと気づいた。新しい街路、新しい人々、新しい雨季は、古いテストを不十分にする。だから評価セットは継続的に更新しなければならない。町長は最後に理解した。評価はある傘が完璧だと証明するためではなく、あらゆる選択と変更に見直し可能な根拠を持たせるためなのだ。その後、町長は傘を替える前に必ず問うた。この物差しは今日の街路をまだ代表しているか? 街に夜市が増え、橋の風が強くなったなら、古いテストに新しいシナリオを補わねばならない。彼らは失敗サンプルも残し始めた。ある傘がなぜひっくり返ったか、どの街路でひっくり返ったか、誰が持ってひっくり返ったかは、勝ち残った見本の傘よりも、職人に次の版でどこを直すべきかを教えてくれる。

明らかにする

この物語が語るのは:評価

評価とは、人手、ルール、またはモデル審判を用いて、AIシステムのタスク品質、安全性、安定性、コストにおける性能を測ることだ。企業エージェントのevalsは、実タスク、境界シナリオ、回帰サンプル、安全レッドライン、遅延、費用をカバーし、リリースプロセスと結びつけるべきだ。評価がなければ、モデル更新、プロンプト変更、RAG調整、ツール改修はすべて感覚で判断するしかない。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 三軒の傘修理店:異なるモデル、prompt、RAG 構成、または Agent の方式
  • 現場展示:デモと一時的な人手による体験
  • 相互採点:制御されず、一貫性のない主観的評価
  • 実街道での失敗:本番シナリオが境界問題を露呈
  • 雨天場面を固定:golden set、benchmark、regression cases
  • 人手による判定と失敗の分類:human evaluation、rubric、error taxonomy
  • 傘を変えるたびに再実行:CI/CD における eval gate
  • 最終的な洞察:evals は AI の変更に再確認可能な品質根拠を与える

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

ベンチマークgolden setregression testLLM-as-judgehuman evaluationred teaming

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号