← 概念辨析に戻る

Concept Contrast Fable

事前学習とファインチューニング:一つは基礎を築き、一つは部屋を改装する

先に結論:事前学習とファインチューニングはモデル訓練プロセス上で隣り合う二つの段階であり、しばしば「訓練」とまとめて表現される。事前学習は大量の汎用データで基礎能力を築き、ファインチューニングは特定タスクのデータで振る舞いを調整する。混同すると、ベースの選び間違い、予算の見積もり違い、能力のボトルネックがどの段階にあるかを見誤る原因になる。

事前学習とファインチューニングはモデル訓練プロセス上で隣り合う二つの段階であり、しばしば「訓練」とまとめて表現される。事前学習は大量の汎用データで基礎能力を築き、ファインチューニングは特定タスクのデータで振る舞いを調整する。混同すると、ベースの選び間違い、予算の見積もり違い、能力のボトルネックがどの段階にあるかを見誤る原因になる。

寓話

音楽学院の基礎訓練と公演リハーサル

ある音楽学院の育成体系は大きく二段階に分かれている。最初の三年間、すべての学生が同じ授業を受ける。視唱練耳、楽典、音楽史、基本的なピアノと声楽の技能。将来ソリスト、伴奏者、指揮者のいずれを目指すにせよ、この期間は同じ土台を鍛える。卒業後に振り返ると、この三年間で自分が最終的に何を専攻するか誰も知らなかったが、基礎が固まっていない者はその後のどの方向にも進めなかった。

四年目から方向を分ける。学生は自分の志望と条件に応じて専攻を選び、専門のリハーサルシーズンに入る。独奏方向の学生は毎日協奏曲と格闘し、室内楽方向の学生は重奏の合わせを大量に磨き、作曲方向の学生は自分の作品を書き始めて楽団に試奏を求める。リハーサルシーズンの訓練方法と内容は基礎段階とはまったく異なる。広く網を張るのではなく、明確な一つの目標に向けて繰り返し磨き上げるのだ。

学院はかつてある改革を試した。新入生の1年目から基礎科目と稽古科目を同時に履修させるというものだ。教務課の考えは「早く実戦に触れれば、より速く学べる」だった。結果、練習曲すら弾けない学生が協奏曲に挑み、和音も理解していない者が作品を書かされた。一学期が終わると、基礎科目は広範囲で不合格となり、稽古科目の成果も聞くに堪えなかった。

学院は緊急に中止を命じ、課程の順序を厳格に定めました。最初の三年間の基礎試験に合格しなければ、リハーサル授業には入れない。これは意地悪ではなく、リハーサル授業の前提が基礎がすでにあることだからです——指揮者はリハーサル中に立ち止まって拍子の数え方を教えたりしません。

後に客員教授が学院に来て共有し、授業で黒板に太い線を引き、左に「汎用」、右に「専用」と書いた。左の投資は年単位で計算され、コストが高く、産出は汎用能力。右の投資は週単位で計算され、コストは制御可能で、産出は専門的パフォーマンス。二つの予算は別々に作り、二つの評価基準は別々に設ける。

学院はこの線を教学評価体系に書き入れた。基礎段階の考核は基本技能の網羅範囲と堅実さだけを見て、専門的な表現は見ない。リハーサル段階の考核は目標曲目の完成度と芸術的品質だけを見て、基本技能を振り返って確認しない。二つの段階はそれぞれ基準を設け、リハーサルの表現で基礎を採点したり、基礎の基準でリハーサルの結果を縛ったりする混乱を断った。

雇用データは改革から二年後に興味深い変化を示しました。地基段階から分流した学生は、方向転換時の適応期間がより短いのです。理由は地基が圧縮されておらず、完全な汎用能力を持って新しい方向に入り、補うのは稽古だけだからです。一方、地基を飛ばした、または突貫工事で済ませた学生は、方向転換が一からやり直しになります。

事前学習

膨大な汎用データでモデルを訓練し、基礎的な言語能力と世界知識を築く。これは全集、高コスト、一度きりの地盤建設段階である。

ファインチューニング

事前学習済みモデルを基に、特定タスクのデータでモデルの挙動を調整する。コストは比較的抑えられ、異なる場面ごとに何度も実行できる。

物語の対応

  • 最初の三年は同じ基礎課程:事前学習で、大量の汎用データ上に基礎能力を築く
  • 第四年方向調整シーズン:微調整、特定タスクデータで行動を調整
  • 初年度に基礎と稽古を同時に進めて大規模な失敗:事前学習を飛ばして直接タスク微調整を行うのは不可能
  • 基礎試験に合格しなければ稽古の授業に入れない:事前学習の品質は微調整効果の前提条件である
  • 方向転換時に基盤が完全な人ほど適応が速い:堅固な事前学習により、モデルは異なる微調整方向間をより効率的に移行できる

Agent プロジェクトに落とし込む

モデル選定の際はまず二種類のニーズを区別する。汎用知識と基礎能力を補う必要がある場合は、事前学習を検討するか最新の事前学習基盤を選ぶ。振る舞い、スタイル、出力形式を調整するだけでよい場合は、ファインチューニングを使う。予算計画では、事前学習の投入は基盤モデルのレベルで見積もり、ファインチューニングはタスクデータ量と反復回数で見積もる。ファインチューニングの予算で事前学習の効果を期待してはならない。

京ICP备2026014272号