← 概念辨析に戻る

Concept Contrast Fable

評価ベンチマークとゴールデンデータセット。一方は一揃いの試験問題と採点規則、もう一方は模範解答集だ

先に結論:評価ベンチマークは一連の測定ツールの組み合わせである——テストセット、採点方法、指標定義、報告形式で、複数モデルの能力を横断比較するために使う。ゴールデンデータセットは人手または専門家が注釈を付けた高品質なサンプルの集合で、各サンプルには確定した「正解」ラベルまたは参考出力がある。ベンチマークは複数のゴールデンデータセットを含むことがあるが、ゴールデンデータセット自体はベンチマークではない——モデル間の順位付けはせず、地面真値だけを提供する。

評価ベンチマークは一連の測定ツールの組み合わせである——テストセット、採点方法、指標定義、報告形式で、複数モデルの能力を横断比較するために使う。ゴールデンデータセットは人手または専門家が注釈を付けた高品質なサンプルの集合で、各サンプルには確定した「正解」ラベルまたは参考出力がある。ベンチマークは複数のゴールデンデータセットを含むことがあるが、ゴールデンデータセット自体はベンチマークではない——モデル間の順位付けはせず、地面真値だけを提供する。

寓話

翰林院には二種類の編修成果があり、一つは席次を並べて榜を発するもの、一つは標準答案を定めるもの

翰林院は毎年春秋に二組の文書を編纂する。春編は「科場題冊」と呼ばれ——二十組の経義題と十組の策論題を含み、各題には採点要点と段階基準が付され、試験後に総合点で順位を付け各省の学子の名次を公布する。秋編は「真解集」と呼ばれ——翰林院が各省から集めた優秀な答卷から百篇を精選し、各篇は三人の編修がそれぞれ批注し、その中で最も合意の多い答案の下に一本の赤線を引き、その題の標準解とする。

科場の題冊の役割は明確である。受験者の能力を横断的に順位付けする。今年使った問題は翌年に三分の一を入れ替える必要がある。なぜなら、出題済みの問題を繰り返し使うと、受験者が事前に対策を立て、点数が実際の能力を反映しなくなるからだ。採点要点も毎年微調整され、新しい問題形式と新しい採点次元が導入される。その価値は比較と順位付けにある。

真解セットの論理はまったく異なる。それは順位を付けない——百問それぞれに標準答案を一つ備えるだけだ。この答案群の価値は、受験生が何位かを告げることではなく、将来の採点にアンカーを提供することにある。採点者が新しい答案の得点に迷った時、その答案を真解セットの標準答案と並べて照合できる。標準答案は固定であり、答案を更新すべき十分な証拠が出るまで再確定されない。

この二本立て制が何年も運用された後、管理上の災難が起きた。新しく来た編修総管は、科場題冊と真解集が似すぎている——どちらも問題と答えの集合だ——と考え、「翰林総集」に統合し、各問題に評価基準と模範解答の両方を持たせて統一管理するよう提案した。統合は最初は楽に見えたが、一年後に問題が生じた。

科挙の題冊の一部の問題の標準答案が受験者に漏洩し、受験者は受験対策機関で真解集の原題の答案を暗記していた。その年の科挙の順位は著しく歪んだ——高得点は能力が高い結果ではなく、記憶力が良い結果だった。編修総管は強制的に二重制度を復活させ、新たな規則を加えた:科挙題冊の問題の出典は真解集の問題の出典と重複してはならない。真解集がすでに公開されている場合、科挙題冊はその中の問題を使用できない。

二重体制の復活後、翰林院はさらに時間の境界を設けた。真解集は編修や採点者が普段尺度を調整するために使え、科場題冊は試験当日にのみ開封できる。前者はアンカーであり、何が良い答案かを知る助けとなる。後者は競技場であり、誰が本当に書けるかを比較する役割を担う。

それ以来、編修たちは「どうせどれも問題と答えだ」とは言わなくなった。問題集は最終順位付けに使い、真の解答集は日々の調整に使う。一方は漏洩を防ぎ、もう一方は安定を保つ必要がある。両者を混ぜると、短期的には楽に見えるが、長期的にはすべての高得点に事前に問題を見た疑いがついてしまう。

評価ベンチマーク

標準化されたテストセット、採点方法、報告フレームワークの組み合わせで、異なるモデルの能力を横断比較するために使う。中核機能はランキングと比較であり、設問は定期的に更新して陳腐化と汚染を防ぐ必要がある。

ゴールデンデータセット

専門家が注釈した高品質なサンプル集合で、各サンプルには確定した標準答案または参考出力が付く。ランキングには参加せず、主にモデル検証、回帰テスト、注釈品質の標準アンカー提供に用いる。

物語の対応

  • 科場の題冊:ベンチマーク——ランキングと比較のツールであり、問題は定期的に交換する必要がある
  • 真解セット:ゴールデンデータセット——標準答案を提供する固定アンカーであり、ランキングには参加しない
  • 翰林総集への統合という管理災害:ベンチマークとゴールデンデータセットの混用リスク
  • 試験問題の漏洩による順位の歪み:ベンチマーク問題とゴールデンセットの重複が引き起こす汚染効果
  • 二重トラック制と分離ルールの回復:ベンチマークとゴールデンセットの問題ソースは独立していなければならない
  • 訓練でゴールドセットを使って検証する場合 vs ベンチマークを使わずに測る場合:開発プロセスにおける両者の使用境界の違い
  • ML 界の正確な対応:ランキング用の MMLU 対 検証用の SQuAD という古典的な分業

モデル研究開発プロセスと評価体系の構築に落とし込む

社内評価体系を構築する際は、ゴールデンデータセットとベンチマークセットを物理的に分離しなければならない。ゴールデンデータセットは開発環境に置き、反復検証に使う——各ラウンドの訓練やプロンプト最適化の後にゴールデンセットでテストし、品質が安定しているか向上しているかを確認する。ベンチマークセットは独立した安全な環境に置き、マイルストーン地点でのみ実行する——モデル凍結後、リリースレビュー前に。開発過程でベンチマークセットを繰り返し検証に使うなら、実際にはすでにテストセットへ情報を漏らしている——最終的に出るスコアは高めになるが、実際のユーザーシナリオが冷水を浴びせる。自前のゴールデンデータセットを作る際は人日を投じて専門家によるアノテーションを行う——高品質な模範解答は一度きりのコストで、繰り返し検証する利益がモデルのライフサイクル全体を覆う。

京ICP备2026014272号