← 概念解説に戻る

Concept Fable

コーパス

先に結論:コーパスとは、収集・整理され、訓練、検索、評価、分析に用いられるデータ資料の集合であり、テキスト、画像、音声、コード、表、会話記録などが含まれます。

Corpus · Pretraining

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

料理学校のレシピ倉庫

料理学堂は学生に全城の料理を作らせたいと考えた。校長は最初、各店からレシピを借り集め、三つの倉庫をいっぱいにした。学生は本が多いのを見て、基礎はきっと厚いと思った。倉庫の紙は積み上がるほど高くなり、校長はしばらく安心していた。学生が富裕層の口にだけ合う料理を作り始めて、彼は「多さ」が来源の偏りを覆い隠していると気づいた。

最初の宴席は却って醜態を晒した。二冊の抄本が塩と砂糖を書き逆にし、一批のレシピは富戸の宴席しか収めず、貧巷の小吃がなかった。さらに数冊は出所不明で、持ち主が訪ねてきて賠償を求めた。学生が作った料理は、重複するもの、偏ったもの、そもそも公開して教えられないものがあった。一部のレシピは古い竈の火加減を帯び、新しい鉄鍋にそのまま移すと味がすっかり変わった。学生は自分が間違って学んだと思ったが、実は教材が適用条件を説明していなかった。

教師たちはようやく倉庫を棚卸しした。どのレシピにライセンスがあり、どれが重複し、どれが書き写しを誤り、どの地域が欠けており、どれが観察向きで訓練には使えないか、すべて登録する必要があった。紙が一軒分あるだけでは、使える教材一式があることにはならない。

二年目、学堂は川辺の屋台、山村の料理、節句の小吃を補完し、誤った本を削除し、出典を明記し、料理系統・難易度・食材で整理した。学生は必ずしも多くの紙を暗記したわけではないが、自分が学んだ世界がどれほど広いか、どこにまだ空白があるかを知った。整理の際、教師たちは不足リストも保持した。ある地域のレシピが一時的に入手できない場合は、カバーしていないと明言し、学生が街全体の味をすべて学んだと誤解しないようにした。

校長はさらに各レシピに用途札を貼った。教学可、研究可、保管のみ、要許認可。学生が受け取るのはもはや紙の束ではなく、境界を知る一套の資料だった。

料理学堂は後にレシピを追加する時、もはや美味しいかどうかだけを問わなかった。誰が書いたか、教えられるか、どの客層をカバーするか、旧メニューと重複しないかも問うた。材料は学堂に入る前に門をくぐり、学生が庫房に引きずられないようにした。

後に有名店がライセンスを拒否し、校長は一部欠けても、こっそり収録しなかった。学生はその欠落を知ることで、出所不明のレシピを学ぶより安全だった。利用可能な材料は、数量、品質、出所、境界を同時に備えなければならない。

倉庫にあるレシピの集合が、学生がどんな味を学べるか、そして何が見えないかを決める。材料の境界が、技量の境界である。

明らかにする

この物語が語るのは:コーパス

コーパスとは、収集・整理され、訓練、検索、評価、分析に用いられるデータ資料の集合であり、テキスト、画像、音声、コード、表、会話記録などが含まれます。

コーパスの核心は量だけでなく、出所、ライセンス、品質、カバレッジ、ノイズ、バイアス、時間的新鮮度、注釈方法も含む。モデルはコーパスから規則を学び、その中の誤り、欠落、傾向も継承する。

メタファーのマッピング

  • レシピ倉庫:コーパスそのもの
  • 名シェフの手稿と街角の写本:異なる出所と信頼度のデータ
  • 十倍の塩の誤ったレシピ:ノイズと誤りサンプル
  • 地方料理が多すぎる:データ分布の偏りと代表性不足
  • 認可タグ:データ使用権とコンプライアンス境界

Andy(任旭)判断

企業が AI に取り組むとき、コーパスは裏方の物置ではなく、能力の境界そのものだ。データがどこから来るか、使えるか、汚れていないか、偏っていないかが、システムを納品できるかを直接左右する。

datasetデータクリーニングpretraining dataベンチマーク
京ICP备2026014272号