← 概念辨析に戻る

Concept Contrast Fable

全量ファインチューニングとパラメータ効率の良いファインチューニング:一冊全体を書き換えるか、付箋を貼るか

先に結論:チームがモデル適応案を議論するとき、全量微調整とパラメータ効率微調整はよく二つの「調参方式」として同じ比較表に並べられる。しかし両者のコスト構造、ロールバック戦略、インフラ要件は桁が一つ違う。選び間違えるのは技術判断が劣るからではなく、二種類の操作を同じ次元で並べたからだ。

チームがモデル適応案を議論するとき、全量微調整とパラメータ効率微調整はよく二つの「調参方式」として同じ比較表に並べられる。しかし両者のコスト構造、ロールバック戦略、インフラ要件は桁が一つ違う。選び間違えるのは技術判断が劣るからではなく、二種類の操作を同じ次元で並べたからだ。

寓話

図書館改訂部の二つの改め方

大学図書館は新版の教科書を受け取り、改訂部に蔵書の旧版教科書を同期して更新するよう求めた。改訂部には二つのやり方がある。第一は重版:旧書をページごとにスキャンし、修正し、組み直し、製本して新書にする。第二は正誤表シール:半透明のシールを見つけ、修正が必要な数段落だけを覆い、旧ページに貼る。読者がめくれば自然に新しい内容が見える。

学部長は最初の報告を聞いたとき、二つのやり方は仕事量とコストの違いだけだと思った。彼は二つの案のコスト対照表を作り、全学部に正誤表シールを使うよう求めた——コスト削減のためだ。改訂部はそれに従った。

第三週に問題が集中爆発した。数冊の教材の改訂量が予想をはるかに超え、勘誤貼が本の大半を埋め尽くし、本は原版より二倍厚くなり、ページをめくると貼紙がめくれて、読者は正常に読めなかった。さらに三冊の本の改訂内容が互いに引用し、勘誤貼間の論理チェーンが切れていた——A書に貼られた修正とB書に貼られた修正が互いに相手がどこを変えたか知らなかった。

改訂部が緊急に振り返ったところ、勘誤貼が適用されるのは「変更が少数の孤立した段落に集中する」場面であることが分かった。変更範囲が全書に広がったり、複数の書物間に相互参照があると、勘誤貼は本全体の物理構造を崩壊させる。重印は高くつくが、すべての変更を同じページ番号と索引システムに溶け込ませる。

部門は後に選定ルールを定めた。まず修正範囲と修正同士の関連密度を評価し、それから方法を選ぶ。変更が少なく独立していれば貼り紙を使い、変更が密で互いに絡み合っていれば再印刷を使う。ルールは複雑ではないが、前提として「少」と「多」の判断基準を先に明確にしなければならない——判断基準は何段落を修正したかではなく、修正された段落間にどれだけ論理的依存があるかを見る。

年末の集計で興味深いデータが見つかった。本当に重版が必要な教材は改訂総量の15%にすぎないが、その予算は改訂部の年間支出の60%を占めていた。正誤表の貼付は改訂タスクの85%をカバーし、総費用は40%未満だった。別々に計算して初めて、各方法の真の費用対効果が浮かび上がった。

改訂部が後に本当に後悔したのは、初期のコスト対照表が二つの方法を並べて置き、まるで自由に交換できるかのように見せたことだった。ステッカーと再印刷は二つの異なる改訂構造に奉仕し、負うリスクも異なる。表の数字がどれほど近くても、戦略の境界は一枚の表で平らにされてはならない。

全量ファインチューニング

モデルの全パラメータを更新して新しいタスクや新しい領域に適応させます。効果の上限は高いですが、完全なインフラ、より多くのデータ、より長いトレーニング時間が必要で、ロールバックのコストも大きくなります。

パラメータ効率的ファインチューニング

モデルのごく一部のパラメータだけを更新する。たとえばLoRAで低ランクアダプタを追加する。学習が速く、保存が小さく、素早く切り替えられるが、変更範囲が独立していて量が少ないタスクに向いている。

物語の対応

  • 教材全体を再印刷:全量微調整、すべてのパラメータが更新に参加
  • 訂正記事は修正が必要な段落だけを対象にする:PEFT、ごく一部のパラメータだけを動かす
  • 学科主任はコスト対照表に従ってステッカーを全て選んだ:二つの戦略を価格で並べ替え可能な代替案として扱った
  • ステッカーが多すぎて本が開けなくなる:変更範囲が密すぎると PEFT アダプタ同士が干渉する

モデル選定プロジェクトに落とし込む

モデル適応方案の評価では、まずタスク複雑度で分级する:単純な形式調整や単一分野の用語置換は PEFT を優先検討;複数分野の交差推論や全面的なスタイル移転を伴う場合のみ全量微調整を評価する。予算表では訓練算力、ストレージアダプタ、ロールバック人件費の三つのコスト線を分けて記載し、アダプタの小さなストレージコストで全量微調整のデプロイとロールバック段階の隠れた支出を覆い隠さないようにする。

京ICP备2026014272号