← 概念解説に戻る

Concept Fable

事前学習

先に結論:Pre-trainingは訓練プロセスにおける基礎段階であり、まずモデルに大規模コーパスから汎用的な表現と生成能力を学ばせる。それは後続のfine-tuning、alignment、evaluationと一つの連鎖を成す。基礎の火加減が不足すれば、その後の企業適応は非常に苦しくなる。

Pre-training · Training

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

刀鍛冶場の粗坯の火加減

百工学堂は弟子を取るにあたり、まず特定の店の秘伝を教えることはしない。新弟子は最初の一年、木目、火加減、度量、帳簿、地理、一般的な器物を学ぶ。日々は退屈で、店主たちはよく「効果が遅い」と嫌がる。多くの店主は待ちきれない。彼らは開店初日から働ける人を求め、一見無駄に見える雑学の授業にお金をかけたがらない。

ある短気な番頭が言った。自分が欲しいのは船大工なのだから、弟子には船図だけを暗記させろと。半年後、弟子は各船板の名前を言えるようになったが、新しい木材、新しい水域、新しい積載量に遭遇すると慌てた。さらに悪いことに、この弟子は船主が急に要件を変えても、古い船図の中から似たページを探すだけだった。彼は素早く答えたが、出来上がった船は喫水が深すぎた。

老校長は二組の弟子を港に連れて行きました。船の設計図だけを暗記した者は図に従って板を打つことはできますが、木目がなぜ割れるかは理解できません。雑学を学んだ者は各造船所の暗号は知らなくても、水、力、材、帳簿がどう関わり合うかを知っており、すぐに重要な点を問いただせます。

そこで学堂は初期訓練をより広く定めた。まず弟子たちに大量の普通の材料で世界の土台を形成させ、その後、各業の師匠が引き継ぎ、造船所、薬舗、銀号、駅站の規律に適応させる。老校長も弟子を永遠に漠然と学ばせはしなかった。基礎が転移できるまで打ち立ててから、具体的な職種へ送り出し、汎用の土台を専門の規律につなげた。

ある薬舗の主人も後で弟子を選びに来た。雑学を学んだ者は薬名を学び直す必要があるが、患者の年齢、季節、禁忌、用量を尋ねるので、多くの危険な道を避けられることに気づいた。

これらの弟子が具体的な店に入ると、師匠はさらに指導を続ける。基礎固めは専門訓練の代替ではなく、その後の専門訓練が接続できる土台を作るものだ。土台がなければ、秘伝をどれだけ早く学んでも脆くなりやすい。

学堂は後にこの順序を入学案内に書き込んだ。1年目は具体的な商売から遠く見えるが、実は移転可能な常識を蓄積している。2年目に商売に入り、これらの常識を具体的な規則に押し込む。先に広く、後に狭くすることで、徒弟は最初の店に縛り付けられない。

数年後、学堂を出た者は、必ずしも入ってすぐ最も狭い仕事ができるわけではないが、新しい業界で速く学び、安定して移れる。まず基礎を打ち、それから専門的に調教するのは、最初から細工を刻むのではなく、広い経験が手に沈んでいるからだ。

明らかにする

この物語が語るのは:事前学習

Pre-trainingは訓練プロセスにおける基礎段階であり、まずモデルに大規模コーパスから汎用的な表現と生成能力を学ばせる。それは後続のfine-tuning、alignment、evaluationと一つの連鎖を成す。基礎の火加減が不足すれば、その後の企業適応は非常に苦しくなる。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 川辺の鋳剣工房:企業における AI / Agent システムまたはモデル訓練体系
  • 剣の素材:サンプル、token、タスクリクエスト、モダリティ情報、またはモデル内部表現
  • 最初から各剣の文様を彫る:表層の規則だけを変える素朴な補修
  • 増え続ける表とスローガン:目的関数、データ品質、システム構造を変えない管理動作
  • 入力、判断、動作、フィードバックを追跡する:訓練と評価に必要なデータの閉ループ
  • まず金属を繰り返し鍛えて靭性を持たせ、次に用途に応じて刃を付け柄を付ける:Pre-training を中心に据えた構造的解法
  • 最終洞察:モデル能力を企業のデリバリーに落とすには、データ、目標、訓練プロセス、アーキテクチャ、ガバナンスを同時に扱わなければならない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

self-supervised learning基盤モデルファインチューニングscaling laws

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号