← 概念辨析に戻る

Concept Contrast Fable

専門家が項目ごとに注釈を付けた完全な回答セットと、バッチ抜き取り検査に使うテストサンプルセット

先に結論:ゴールドデータセットは、領域専門家が1件ずつ精緻にラベリングした参考答案の集合であり、各行が人手で検証され、モデルの「究極の正しさ」を測るために使われる。テストセットは、統計規則に従って母集団からランダムに抽出されたサンプルであり、モデルの一般的な状況での性能を測るために使われる。両者の違いは権威の程度とコストにある——ゴールドセットは高価だが正確で、テストセットは安価だが境界が曖昧である。テストセットのスコアをゴールドセットのスコアとして顧客に報告するのは、作業員の迅速検査データを品質検査専門家の検収報告書の代わりに出すことに等しい。

ゴールドデータセットは、領域専門家が1件ずつ精緻にラベリングした参考答案の集合であり、各行が人手で検証され、モデルの「究極の正しさ」を測るために使われる。テストセットは、統計規則に従って母集団からランダムに抽出されたサンプルであり、モデルの一般的な状況での性能を測るために使われる。両者の違いは権威の程度とコストにある——ゴールドセットは高価だが正確で、テストセットは安価だが境界が曖昧である。テストセットのスコアをゴールドセットのスコアとして顧客に報告するのは、作業員の迅速検査データを品質検査専門家の検収報告書の代わりに出すことに等しい。

寓話

磁器窯の中の二枚の試片:一枚は老師匠が手で印を付けたもの、一枚は見習いが随時検査したもの

磁器窯は出荷前に二つの検査がある。第一は徒弟組が行う抜き取り検査だ。一窯につき二百個出荷し、徒弟は窯位置の番号に従って十個ごとに一つを抜き取り、気泡、ひび、釉面の凹凸がないかを見る。抜き取り結果は毎日の窯報告に書かれる。本窯の合格率は九割三分。第二は親方による基準検査だ。窯出し当日に同じロットから二十個を抜き取り、一つ一つを拡大鏡で隅々まで検め、色見本と釉色を照合し、ノギスで高台を測る。基準報告はより厚く、より遅く、一冊あたり平均一時間かかる。

ある時、官窯の注文一批で、見習いの抜き取り検査は合格率95%を出し、店主はその数字に基づいて荷を官窯の検収営に送り込んだ。検収官は朝廷の基準で検査し、親方の定める基準よりもさらに厳しかったため、釉面の隠れた細い亀裂を17か所発見し、全ロットが差し押さえられた。店主は見習いに問い詰めたが、見習いは窯の位置ごとに抜き取り検査をし、抜き取ったものは確かにすべて合格だったと言う。問題はどこか。窯の位置の分布が不均一で、炉門に近い三列はもともと不良率が高く、見習いのサンプリングはちょうどそこを避けていたのだ。

年配の親方による基準検査も同時に行われた。親方は窯の位置番号に沿って抜き取るのではなく、各列から二点ずつ採取した。炉の扉に近い三列では、五点のうち四点に隠れた細い亀裂があった。基準検査の報告書では合格率が七割二分だった。見習いの窯の検査報告は九割五分、親方の基準検査は七割二分で、差は二割三分。その差は、ちょうど窯の温度が不均一だった区域に当たっていた。

東家は二つのことを変えました。第一に、老師匠の定標検査を出荷前に必ず通す関門にしました。学徒の抜き取り検査が何を報告しても、定標が基準を満たさなければ出荷しません。第二に、定標検査の結果を別に保管し、窯報と一緒にまとめて計算しないようにしました。二つの報告にはそれぞれ用途があります。窯報は日常の生産変動を見て、定標は臨界品質の赤線を見ます。

後に一人の外地の客商がまとめて供給したいと商談に来て、東家は彼に二つの報告書を見せました。客商はなぜ二つの報告書の数字がこんなに違うのかと尋ねました。東家は説明しました。窯報は粗いふるい網で、九割五分というのは「広く見渡して大部分は問題ない」という意味です。定標報告は精密検査鏡で、七割二分というのは「最も厳しい基準で見れば、十件のうち三件に潜在的な問題がある」という意味です。客商は結局どちらで契約するのかと尋ねました。東家は、契約に「合格率」と書くなら、どちらの報告書の基準を使ったのかを必ず明示しなければならないと言いました。同じ窯でも、抜き取り検査報告では九割五分、定標報告では七割二分で、数字は大きく違います。

客商が去った後、東家は窯口に告示を貼った:抜き取り検査は生産リズムを管理する——毎日の速報で、火加減の調整、坯の交換、窯位置の配置に便利。定標は出荷の約束を管理する——窯ごとに必ず検査し、基準は最も厳しい。一方は一線のツール、一方は顧客への約束。抜き取り検査の数字を定標の報告書の殻に詰めて送り出すのは、火線ではなく人脈線を歩いている。

ゴールデンデータセット

領域専門家が項目ごとに精緻にラベリングした参考答案セットで、各項目は人手で検証され合意形成されている。重要なシナリオにおけるモデルの最終的な性能を測るために使われ、コストは高いが権威性が強く、通常は受け入れ基準として用いられる。

テストセット

統計的な規則に従って母集団から無作為に抽出した評価サンプルの集合で、一般的な状況でのモデルの性能を測るために使う。構築コストは低く、網羅範囲は広いが、境界事例やロングテール分布は見落とされる可能性がある。

物語の対応

  • 徒弟の抜き取り検査:テストセット、統計規則に従ってランダムに抽出し、迅速に評価する
  • 熟練師匠による基準設定検査:ゴールデンデータセット。一点ずつ精密にラベリングし、基準は最も厳格で、コストは最も高い
  • 窯温が不均一な区域の不良品が抜き取り検査で飛ばされる:テストセットのサンプリングバイアス問題
  • 九割五分と七割二分の数字の差:二つのデータセットは異なる粒度の品質情報を反映している
  • 定標が基準を満たさなければ出荷しない:黄金集を出荷の最低ラインとし、テストセットで代替不可
  • 客商がどれで契約するのかと問う:対外的な約束はデータセットの権威等級を明確にしなければならない

AI モデル評価と受け入れに落とし込む

日常の開発イテレーションではテストセットで迅速に評価し、モデル性能の変動傾向を見る。しかし顧客への検収報告や SLA の締結時には、必ずゴールデンデータセットを使う——専門家がラベル付けし、品質が追跡可能で、基準が明確なもの。二種類のデータセットを同じレポートで加重平均してはいけない。テストセットの高スコアは、たまたま難しいサンプルを引かなかっただけかもしれない。重要顧客のシナリオや機密領域の評価では、年に少なくとも一度はゴールデンセットで独立した検収を行い、テストセットの統計分布が知らぬ間に実際の業務ニーズからずれるのを防ぐ。

京ICP备2026014272号