← 概念解説に戻る

Concept Fable

破滅的忘却

先に結論:Catastrophic Forgettingは、ニューラルネットワークが新しいデータや新しいタスクで微調整された後、以前に学んだ能力を著しく失う現象である。企業がLLMを微調整する際、狭すぎるデータ、大きすぎる学習率、または訓練エポックが多すぎると、汎用能力、安全アラインメント、または既存の業務能力が退化する可能性がある。緩和方法には、古いデータの混合、回帰評価、より小さな学習率、一部層の凍結、正則化、継続的評価が含まれる。

Catastrophic Forgetting · トレーニング

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

新規則を暗記したら、古い道はすべて忘れた

宿駅の信使アテイは北路の山道をよく覚えていたが、後に南路の水路を専門に学ぶよう命じられた。老駅長は当初、新しく身につけた路線で用を済ませた。顔なじみの道なら、日々が小さければ誤りは少ない。駅長は気づいた。アテイが南路を学んだことは能力の増加を意味しない。もし新たな訓練が北路の記憶を覆ったなら、モデルは一つの技を別の技と引き換えにしただけだ。

後に阿亭は南路を飛ぶように走ったが、北路に戻るとどの橋が冬に閉鎖されるかを忘れていた。新しいタスクのサンプルが集中するほど、古いルートのパフォーマンスは急速に低下する。南路の成績だけを見れば、すでに起きた破滅的忘却を平均点の背後に隠してしまう。

最初の補修は急だった:駅長は南路をもう十回練習させ、一本を熟す方が二頭で揺れるよりましだと思った。南路を繰り返し練習して熟すと単項成績だけが上がったが、北路の重要な分岐は新しい記憶に薄められた。しかし新しい毛病も続いて出て、皆は最も見えやすい場所だけを見て、遠くの小さな偏差はますます深く積もった。

彼は新旧のルートを混合して訓練し、重要な旧サンプルを保持し、定期的にリプレイし、二種類のタスクを別々に評価した。学習のたびに、新しい能力が古い能力の劣化を代償にしていないか確認した。

老駅長は旧路と新路を混ぜて配車し、さらにいくつかの重要な分岐図を残し、新しい道を学ぶたびに旧路を走って一度検証した。この手間は煩わしく、当初は工期を遅らせもした。しかし数回を経て、手戻りは減り、師匠も気まぐれで規則を変えなくなった。駅は新旧の路線をともに守り、学習の利益は既存能力を消し去ることを代償にしなくなった。

これ以降、新たな能力の追加はもはや古い記憶を消す代償を伴わない。継続的学習は新タスクの便益と旧タスクの下限を同時に守らなければならない。

阿亭はそこで悟った。新しい技能を学ぶときに古い技能を押し流してしまえば、駅はただリスクの種類を変えているだけだ。それ以来、見識を広げるときは、過去に本当に役立った記憶を保持するようにした。

概念の落としどころ

この物語が語るのは:破滅的忘却

Catastrophic Forgettingは、ニューラルネットワークが新しいデータや新しいタスクで微調整された後、以前に学んだ能力を著しく失う現象である。企業がLLMを微調整する際、狭すぎるデータ、大きすぎる学習率、または訓練エポックが多すぎると、汎用能力、安全アラインメント、または既存の業務能力が退化する可能性がある。緩和方法には、古いデータの混合、回帰評価、より小さな学習率、一部層の凍結、正則化、継続的評価が含まれる。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

物語の対応

  • 新城区路線:新しい微調整タスクまたは領域データ
  • 古い道を忘れる:既存能力の退化
  • 古い道を周期的に復習する:replay/mix 元のデータまたは代表的なデータ
  • 重要路線の試験問題:回帰評価セット
  • 新区は向上したが老城は失敗:リリース前に能力保持を必ず確認する

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

continual learningSFT事前学習regularization
京ICP备2026014272号