← 概念辨析に戻る

Concept Contrast Fable

表面に一層加えるのと、各層を少しずつ動かすのは違う

先に結論:プロンプト微調整は入力層に訓練可能なベクトルを加え、プレフィックス微調整は Transformer の各層に訓練可能なプレフィックスを加える。どちらもパラメータ効率の良い微調整方法だが、変更される深さと影響範囲はまったく異なる。選定時にはパラメータ数だけを見て、どの層に作用するかを見落としがちだ。

プロンプト微調整は入力層に訓練可能なベクトルを加え、プレフィックス微調整は Transformer の各層に訓練可能なプレフィックスを加える。どちらもパラメータ効率の良い微調整方法だが、変更される深さと影響範囲はまったく異なる。選定時にはパラメータ数だけを見て、どの層に作用するかを見落としがちだ。

寓話

二人の石工が仏像を修復し、一人は金箔を貼り、一人は骨組みを整える

山の中に古い寺があり、大殿には石の仏像が祀られていた。年代が経ち、仏像は少し色褪せ、信者たちは荘厳さが足りないと感じた。住職は二人の石工を呼んで修繕を頼んだ。老周は金箔と顔料を持参し、仏像の表面に新しい金身を貼った。手際よく、三日で完成した。老呉は黙って彫刻刀を取り出し、仏像の台座から始めて、石の模様の層ごとに研ぎ直し、彩色し、補強し、丸一ヶ月かけて仕上げた。

完工後、二尊の仏像が並んで偏殿に置かれた。信者が見に来て、皆老周が修した尊が美しいと言った——金箔が香火の中で反射し、遠くから見ると雄大である。老呉が修した尊はあまり変わらなく見え、ただ色調が少し暗くなっただけだった。方丈は頷いたが評論しなかった。

秋に入り、山では半月続けて雨が降った。偏殿の屋根が雨漏りし始め、雨滴が直接仏像に当たった。老周の金箔はまず膨れ、次にまとまって剥がれ落ち、下の灰色の古い石面が現れた。信者は仏像がまた古びたと言い、以前よりも醜いとさえ言った。老呉が修した尊像は元のままで、水滴は石の紋に沿って滑り落ち、色は変わらなかった。

方丈はこの時になって説明した。老周が行ったのは表面工で、金箔は最も外側の一層に貼るだけで、美しいが水に弱く、下の石質は少しも変わっていない。老呉が行ったのは各層への入色で、底座から頭頂まで、各層の石料が顔料と強化剤を吸収し、色は石の中に育った。表面の美しさと全体の耐候性は、最速と最省を同時に求めることはできない。

翌年、方丈はまた新たな状況に直面した。朝廷から派遣された礼官が仏像の印相と顔を調整するよう求めた——すべてを尊重して作る必要はなく、いくつかの重要な細部を変えるだけでよい。老周の方法は使えなくなった。彼の金箔は一度貼れば像全体を覆ってしまう。老呉の方法もだめだった。彼の技は最初から最後まで作り通す必要があり、いくつかの層だけ変えると全体の一貫性が壊れる。方丈はやむを得ず三人目の職人を呼んだ。その者は言った。私は最も変化が必要な層だけを局所的に調整し、台座や衣文には手を触れない。

後に寺の石碑に一行が刻まれた:貼り皮、骨入れ、層選び、三つの仕事に三つの値段、貼り皮を骨入れと見なしてはならず、骨入れを層選びと言ってもならない。

方丈は自分のノートに一笔補した。入力層だけに加えるのは金箔を貼るようなもの——速く、省き、美しいが覆いは浅い。各層にプレフィックスを加えるのは老呉の入骨——遅く、重いが全体を変える。もし老周と老呉の間の中間路線を行くなら、それは第三のもので、別途値段を談じなければならない。

プロンプト微調整

入力層に訓練可能な埋め込みベクトルをソフトプロンプトとして追加し、コアモデルのパラメータは凍結する。入力層のみに影響し、パラメータ数は極めて少なく、迅速な適応に適するが表現能力は限られる。

プレフィックス微調整

Transformer の各層に訓練可能なプレフィックスベクトルを挿入し、すべての層のアテンション計算に影響を与える。パラメータ数はプロンプト微調整より多いが、モデルの挙動により深いレベルで影響を与えられる。

物語の対応

  • 金箔を貼る老周:プロンプト微調整、入力層にのみ訓練可能なベクトルを加える、速いが効果は浅い
  • 骨の髄まで磨く老呉:プレフィックス微調整。各層にプレフィックスベクトルを挿入し、全体の挙動を変える
  • 金箔が雨で剥がれ落ちる:入力層の方法は下層の挙動を制御できない
  • 骨まで染まる色は雨を恐れない:各層にプレフィックスを加えることで全層に調整能力がある
  • 一部の層だけを変更:実際のエンジニアリングでは両者の中間にあたる方案もあり、個別に評価する必要がある
  • 石碑の刻字:貼皮、入骨、選層は三つの異なる微調整戦略である

PEFT 手法の選定に落とし込む

タスクが出力のスタイルやトーンを調整するだけでよい場合、プロンプト微調整で十分である——パラメータ数が最小で、訓練が最速で、迅速な実験に適している。タスクがモデルの知識と推論方法を深く変える必要がある場合、プレフィックス微調整のほうが適している——パラメータ数は大きいが、モデル各層の注意パターンに影響を与えられる。ベンダーがパラメータ効率の良い微調整を使ったと言いながら、どの層にベクトルを追加したかを説明しない場合は、明確に確認してから評価する。

京ICP备2026014272号