← 概念解説に戻る

Concept Fable

継続事前学習

先に結論:継続的事前学習とは、既存の基盤モデルの上で、新しい領域、新しい期間、または新しい言語スタイルのデータを使って訓練を続けることだ。モデルに知識を補わせ、業界の表現に適応させることができるが、元の能力を薄めたり、新しいバイアスを持ち込んだりする可能性もある。

Continual Pre-training / Continued Training · Training

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

隊商が古い地図に新しい道を継ぎ足す

海辺に先祖伝来の航図があり、古い港、礁、季節風が描かれている。若い舵手は出航前に必ずこの図を暗記し、遠い島へ行ったことがなくても、それによって危険の大半を避けられる。

数年後、新しい埠頭が開き、浅瀬が流れを変え、外郷の船が新しい旗信号と品名を持ち込んだ。船隊は最初、出航前に舵手へ二言三言の口令を補うだけだった。赤灯を見たら左折、三短哨を聞いたら岸に寄れ。短距離では効いたが、遠航では新しい口令と旧図がつながらないことがよくあった。

ある運薬船が古い図に従って「暗礁」を避けたが、その水路はすでに浚渫されていて、丸二日を無駄にした。別の船は新しい貨物名を理解したが、それが通常どの交易路から来るのか知らず、接続を逃した。口令の補足は応急処置にはなるが、図全体がすでに時代遅れだという事実は変わらない。

老船師はそこで月次で図を改訂することにした。遠航から戻るたびに、舵手は新しい水深、方言、港の規則、海賊の動向を届ける。図師は一つの航路を隅に貼るのではなく、これらの新資料を航図全体に織り直す。古い港はそのまま残り、新しい航路にも位置が与えられる。

老船長はまず海図の隅に補修を貼ってみた。補修は増える一方で、若い舵手は出海のたびに古い図と新しい紙を交互に見て、嵐に遭うとどちらを信じればよいか分からなくなった。口令の修正は一度の接岸は救えても、海域全体が変わることは救えなかった。

船隊はそこで定期的に、新港、新旗語、新水道と旧航図を一緒に描き直した。描き直しは祖伝の経験を消すことではなく、新しい道を元の海図につなぐことだった:どの旧航路がまだ安全か、どの暗礁がすでに港になったか、どの貨物名がどの商路に対応するか。

航図の描き直しにもリスクがある。若い舵手が新しい港だけを覚えれば、古い季節風を忘れるかもしれない。外郷の旗信号を無理に旧図に押し込めば、また混乱する。船団は図を更新するたびに再試航し、実際の水路で新旧の知識が共に機能するかを確認する。 後に船団が未知の港に遭遇しても、その場の合言葉だけで無理に突入することはない。舵手の頭の中の底図にはすでに新路と旧路の関係が含まれており、変化に直面したときにより推論でき、断片的なメモを探し回ることはない。

後に徒弟は再び地図を暗記するとき、頭の中に祖父母の海域だけでなく、新しい商路の気質も刻まれるようになった。学習を続けるとは、出発直前に何枚かのメモを詰め込むことではなく、ベースマップが世界の変化を継続的に吸収し続けることだ。

明らかにする

この物語が語るのは:継続事前学習

継続的事前学習とは、既存の基盤モデルの上で、新しい領域、新しい期間、または新しい言語スタイルのデータを使って訓練を続けることだ。モデルに知識を補わせ、業界の表現に適応させることができるが、元の能力を薄めたり、新しいバイアスを持ち込んだりする可能性もある。

重要なのは「データを喂き続ける」ことだけではなく、新旧データの配合比を制御し、汎用回帰評価と領域評価を併用して確認することだ。新しい道を学んだか、古い道を忘れていないか。

メタファーのマッピング

  • 古い地図=基盤モデルが既に持つ知識
  • 新しい道=新しいコーパスまたは新しい領域データ
  • 旧路は依然として信頼できる=壊滅的忘却の回避
  • 路線配分=データ混合比率
  • 旧路と新路の試走=回帰評価と領域評価

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

catastrophic forgettingknowledge updatedomain adaptation
京ICP备2026014272号