← 概念解説に戻る

Concept Fable

全量ファインチューニング

先に結論:Full Fine-Tuning はモデルの全パラメータまたは大部分のパラメータを更新する微調整方式である。LoRA、Adapter、Prefix Tuning などの PEFT 手法より重く、より深い領域適応と行動変化をもたらす可能性があるが、コスト、VRAM 要件、壊滅的忘却、ロールバックの難しさ、ガバナンスリスクも高くなる。企業は通常、タスク差異が非常に大きく、データ品質が十分で、評価体系が成熟し、デプロイの便益が明確な場合にのみ全量微調整を検討する。

Full Fine-Tuning · Fine-tuning

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

鐘楼全体が再校正された

老琴坊には汎用の大琴があり、宮廷でも酒楼でも書院でも弾けた。ある戯班がそれを自分の唱腔に完全に合わせたいと思い、琴師は最初、弦を数本替えただけで、効果は限られていた。戯班は最初、大琴が「自分たちらしくない」と不満だったが、どこを直すべきか説明できなかった。琴師は外側に飾りを付けただけだったので、観客に聞こえるのはもとの底色のままだった。

班主は言った、すべての転音、すべての共鳴を新しい芝居に合わせるなら、外側に小さな部品を付けるだけではだめだ。琴師は琴全体を分解し、一本一本の弦、一枚一枚の音板、一つ一つのほぞを調整し直さなければならない。琴を分解する前に、老琴師は班主にリスクを署名させた:これは弦を一本替えるのではなく、琴全体に発声を学び直させることだ。どこを変えても他の共鳴に影響する。

この工程は高コストで、リスクもある。調整がうまくいけば、大きな琴は劇団の風格を深く帯びる。失敗すれば、もともと弾けた旧曲まで崩れることがある。変更のたびに一、二音だけでなく芝居全体を試す必要がある。最初の再調整が強すぎて、いくつかの旧曲は味をすべて失った。琴師は新劇を試しながら、旧曲がまだ受け入れられるかを確認し、専用の風格が基本能力を飲み込まないようにしなければならなかった。

琴師は数か月かけて調整し直し、ついに大琴を新しい唱腔に合わせた。しかしそれはもはや、かつてのようにあらゆる場面に容易に応えるものではなかった。班主は、徹底的な改造が深い適応をもたらす一方で、コスト、時間、忘却のリスクももたらすことを悟った。

班主は別の方法も比較した。小さな共鳴箱を外付けするものだ。安く、取り外し可能で、軽い味の調整に向く。しかしこの新作の唱腔は琴全体を動かすため、小さな箱では深部を補えない。

改造完了後、琴坊は大琴を個別に番号付けして保管した。それはこの劇団に適しており、もう気軽に書院へ貸し出すことはない。全身の再調整がもたらしたのは普通のアップグレードではなく、境界を伴う専門化だった。

班主は後に臨時の小芝居を一つ引き受け、琴師に小さな部品を外付けさせるだけで、琴を再び分解しなかった。全身を再調整した経験を経て、彼はむしろ慎重になった。深い適応は非常に強力だが、非常に高価である。任務が十分に専門的で、見返りが十分に大きいときにだけ、全体構造に手を入れる価値がある。

外部の小さな部品を付けるだけで済むタスクもあれば、全身を作り直す必要があるタスクもある。全身を作り直す前に、その専用の価値が内部構造の隅々にまで手を入れるに値するかを確認しなければならない。

明らかにする

この物語が語るのは:全量ファインチューニング

Full Fine-Tuning はモデルの全パラメータまたは大部分のパラメータを更新する微調整方式である。LoRA、Adapter、Prefix Tuning などの PEFT 手法より重く、より深い領域適応と行動変化をもたらす可能性があるが、コスト、VRAM 要件、壊滅的忘却、ロールバックの難しさ、ガバナンスリスクも高くなる。企業は通常、タスク差異が非常に大きく、データ品質が十分で、評価体系が成熟し、デプロイの便益が明確な場合にのみ全量微調整を検討する。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 大時計全体:基礎モデルの全パラメータ
  • 説明を貼る:prompt 層での適応
  • 小さな歯片:PEFT / adapter 系の手法
  • 建物全体の調整:Full Fine-Tuning
  • 旧鐘のバックアップ:ベースラインモデルとロールバック案
  • 固定テストリスト:ファインチューニング後の回帰評価
  • 最終的な洞察:Full Fine-Tuningはモデルの挙動を深く変えられるが、より高いコストとガバナンス能力と引き換えにしなければならない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

SFTPEFTfull-parameter tuningcatastrophic forgetting
京ICP备2026014272号