← 概念解説に戻る

Concept Fable

人手評価

先に結論:人手評価とは、人間の評価者が rubric、業務文脈、品質基準に基づいてモデルまたは Agent の出力を判断することである。主観的、複雑、高リスク、または自動指標ではカバー不足のタスクに適する。例えば営業トークの品質、顧客の語調、事実説明、リスク判断、最終納品の可用性などである。企業は human evaluation を調整可能なプロセスとして設計すべきである。基準、例、評価者間の一致、サンプリング戦略、フィードバックの還流を明確にし、その場で感覚的に採点させるべきではない。

Human Evaluation · 評価方法

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

物差しで測れないところは熟練の職人に見てもらう

織錦工房は隊商のために旗を作っていた。普通の旗は検収しやすい。長さと幅が正確か、色が合っているか、縁が揃っているか、物差しで測ればわかる。

後に顧客は複雑な図案を求めるようになった。荘重さも必要、遠くからでも判別できること、家族の旧紋様に合うこと。尺は依然として役立つが、適切かどうかは測れない。

坊主の天真な修正は、すべての細部に数字点をつけることだった。赤は何点、線は何点、複雑度は何点。点数表は整っていたが、納品後も顧客は自分たちの家らしくないと言った。

あるやり直し会議で、老師匠は問題は特定の一本の線ではなく全体の気質にあると指摘した:図案は合っているが、祭典の旗を戦旗にしてしまった。数字は間違っていないが、判断が間違っていた。

坊主はそこで、家紋、礼制、使用場面に詳しい人々に受入を依頼した。彼らは点数を付けるだけでなく、理由も書き、許容できる点、許容できない点、再確認が必要な点を指摘した。

誰もが気分で評しないよう、工房では見本と審査基準を定めた。何を荘重と呼び、何を識別可能と呼び、どの誤りが手直し必須の重大さか。審査意見も互いに調整する。

人手による検収は遅く、すべての物差しを代替できない。そこで工房はこれを高価値、曖昧、高リスク、または自動評価の分歧が大きい注文に用い、結論を新たな事例として蓄積した。

後に自動の物差しが増えたが、老師匠は依然として閉ループの中に残った。抜き取り検査、仲裁、難しい事例のラベリング、標準の更新を行い、数字が本当の品質を押しのけるのを防ぐ。人の判断は、文脈、好み、責任が最も必要な場所に置くべきである。老師匠はまた、評審に自分がなぜ首を振るのかを言わせた。ただ良くないと言うだけでは役に立たず、礼制に合わないのか、遠くから見て分かりにくいのか、それとも古い紋様と衝突するのかを指摘しなければならない。そうして初めて、次の新弟子は標準を学べるのであり、ある師匠のその日の気分を学ぶのではない。坊主も後に、小さな旗ごとに老師匠を呼んで処理させることはしなくなった。物差しでは測れず、顧客が本当に気にし、間違えれば代償が高い場所だけ、人に真剣に判断を求める。後に振り返りで、皆はこの経験を日常の規則に書き入れた。まず現場で本当に結果を変えた場所を見てから、何を残し、何を修繕し、何を制限するかを決める。表面的な賑わいだけを見れば、次も同じ場所でつまずく。これによって判断が資産になる。返工も少なくなる。

明らかにする

この物語が語るのは:人手評価

人手評価とは、人間の評価者が rubric、業務文脈、品質基準に基づいてモデルまたは Agent の出力を判断することである。主観的、複雑、高リスク、または自動指標ではカバー不足のタスクに適する。例えば営業トークの品質、顧客の語調、事実説明、リスク判断、最終納品の可用性などである。企業は human evaluation を調整可能なプロセスとして設計すべきである。基準、例、評価者間の一致、サンプリング戦略、フィードバックの還流を明確にし、その場で感覚的に採点させるべきではない。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 複雑なフラグ:自動指標では完全に測定しにくい LLM/Agent 出力
  • 長さ・幅・色:ルール指標と自動スコアリング
  • 全体的な性格:文脈、好み、ブランド、安全性、業務適合度
  • 熟練の親方:ドメイン専門家、運用担当者、レビュアー、または顧客代表
  • rubricとサンプル:人手評価基準とキャリブレーションセット
  • 高価値・曖昧・高リスクの注文:人による評価介入が必要なサンプル選択
  • 抜き取り検査、仲裁、難例のアノテーション:human-in-the-loop evaluation workflow
  • 最終的な洞察:Human Evaluation は人間の文脈判断を検証可能な品質ループに組み込む

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

自動採点スコアの偏りMT-BenchJudge LM
京ICP备2026014272号