← 概念解説に戻る

Concept Fable

事前学習

先に結論:事前学習はモデルの大規模な初期訓練段階であり、通常は自己教師あり目標を通じて大量のコーパスから言語、知識、一般的なパターンを学習する。モデルに基礎を作るが、ある企業のプロセス、境界、ツールを自動的に理解するわけではない。

Pretraining · Pretraining

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

大書院の万巻晨読

山の上の書院は、各地で働ける学生を育てたいと考えていました。老院長は以前、カウンターの話術だけを教えていました。客にどう尋ねるか、金を受け取ったらどう書くか、苦情にはどう応えるか。

学生は地元の店ではよくやっていたが、外州に出ると途端に弱気になった。茶行は山道輸送を尋ね、薬舗は薬性の衝突を尋ね、経理係は旧約の条項を尋ねたが、学生はカウンターの話術を当てはめるだけで、整った答えは出せても経緯を理解していなかった。院長はまず話術冊子を厚くした。新しい冊子はより多くの場面をカバーできたが、暗記すればするほど硬直した。質問の言い方が少し変わると、学生は対応するページを見つけられなくなった。

ある老先生が提案した。まず具体的な仕事を教えるのは急ぐな。学生に何年も雑書を読ませよ。地理、帳簿法、医理、律例、農時、書簡、商売物語。読むときはすぐに職に就くことを求めず、言語、常識、物事の関係を学ぶことだけを求める。

最初の数ヶ月、雇い主たちは遅すぎると不満を言った。後に同じ生徒たちが再び店に入ると、わずかなルールだけで適応できた。茶行では茶行の禁忌を学び、帳場では帳場の書式を学び、薬舗では薬舗の境界を学んだ。

ある学生は紛争を処理する際、その書類を見ていなかったが、古い律例と商路の常識から重要な問題を導き出した。貨物の遅延は単なる遅刻ではなく、山洪の告知義務にも関わっていた。

院長は当初、問題は学生が勤勉でないことだと思い、さらに三十条のカウンター問答を加えた。学生はより暗記し、よりそれらしく答えたが、見たことのない売買に出会うと、依然として茶葉の輸送を薬材の保管と言い、賃貸契約紛争を返品賠償と言った。答えは熟練した殻のようで、中に世界がなかった。

後に書院は三年の課程を改めた。一年目は店頭の仕事を請けず、地理、帳簿、農時、契約、医案、商人の書簡だけを読む。二年目は学生を様々な店に傍聴させた。三年目になって初めて具体的な応答を練習した。彼らが実際に店頭に立つ頃には、店の規則をさらに学ぶ必要はあっても、一つの問いの背後にどのような常識が関わっているかをすでに知っていた。

院長はそこで課程を二段に分けた:まず広く基礎を固め、学生に転移可能な理解を持たせる。次に具体的な仕事で行動を調教する。前段がなければ、後段は答えを暗記するだけだ。

明らかにする

この物語が語るのは:事前学習

事前学習はモデルの大規模な初期訓練段階であり、通常は自己教師あり目標を通じて大量のコーパスから言語、知識、一般的なパターンを学習する。モデルに基礎を作るが、ある企業のプロセス、境界、ツールを自動的に理解するわけではない。

学徒がまず万巻の書を読み、言語と常識の能力を得るようなものだと理解できる。その後も、具体的な業務で安定して働くには、微調整、アラインメント、評価、またはツール接続が必要だ。

メタファーのマッピング

  • 万巻の書=大量の未ラベルコーパス
  • 次の文を予測する、または空欄を補う=自己教師あり目標
  • 学徒の底子=基礎モデルの汎用能力
  • ある店の規則=後続の微調整、アラインメント、ツール接続

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

基盤モデルself-supervised learningcorpusnext-token prediction
京ICP备2026014272号