← 概念解説に戻る

Concept Fable

プレフィックス微調整

先に結論:Prefix Tuning は PEFT の一種で、基礎モデルのパラメータを凍結し、学習可能な連続プレフィックスベクトルの組だけを訓練し、それをモデル各層の attention の追加コンテキストとして出力に影響を与える。全量微調整より軽量で、マルチタスク適応や低リソース訓練に適するが、一定のコンテキストまたは計算リソースを消費し、対象タスクへの制御力を評価で確認する必要がある。

プレフィックス・チューニング · PEFT

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

バンドの開演前に見えない序奏

町の楽団は強く、楽譜を渡されれば演奏できる。だが宴会ごとに異なる気質が求められる:商会は重厚に、学堂は明快に、埠頭は短く力強く。

指揮者はまず楽譜の最初のページに長い説明を書いた。楽団員は読むが、演奏の途中では後ろの音符に薄められやすく、複雑な場面では依然として逸れる。ある者は楽団全体を再訓練しようと提案した。団長は断った。楽団自体が高価であり、宴会ごとに練習を止めるわけにもいかない。

ある作曲家が観客には聴かせない開幕の前奏を書いた。それは本曲が始まる前に楽団の記憶に入り、その後の演奏に自動的にある方向性をもたらす。

この序奏は観客には聞かせず、特別に配置された位置と音符で構成される。とても短いが、その後の各旋律がどう展開するかに影響を与える。当初、作曲家は序奏を長く書きすぎ、楽団はかえって本曲の空間を奪われた。後に彼は最も有用な数小節だけを残し、影響を安定させつつ過度にしないようにした。

宴会ごとに異なる引子がある。楽団は再訓練も不要で、楽譜に説明を貼り付ける必要もなく、開演前に対応する引子を読み込むだけでよい。団長は各引子が試演を経ることを依然として求める。誤った引子は、演奏全体を統一感があるのに任務から逸脱したものにしてしまうからだ。

楽団は宴会ごとに曲譜全体を書き直そうとした。効果は良かったが、遅すぎて高すぎ、老楽士は自分の慣れた土台が乱されると不満を言った。次は学堂に移り、また一から書き直し、ほぼ毎回楽団を再建するに等しかった。

ある指揮者は短い開場の合図に切り替えた。商会の場ではまずゆっくり三拍を打ち、学堂の場ではまず白旗を掲げ、埠頭の場ではまず急な太鼓を鳴らす。楽譜の本体は動かずとも、楽士は前の信号に導かれて適切な語気へ入る。調整するのはもはや楽団全体ではなく、演奏が始まる前のわずかな導入である。この方法にも限界がある。宴会でまったく未知の曲種を演奏するなら、数回の合図では足りない。だが多くの場では語気を変え、重点を変え、礼数を変えるだけでよく、開場前の小さな信号の連なりが楽譜全体を書き直す手間を省いてくれる。

彼は最後に理解した:時に公演全体の方向を変えるには、楽団全体を再訓練する必要はなく、開演前にリハーサル済みの導入部を入れるだけでよい。

明らかにする

この物語が語るのは:プレフィックス微調整

Prefix Tuning は PEFT の一種で、基礎モデルのパラメータを凍結し、学習可能な連続プレフィックスベクトルの組だけを訓練し、それをモデル各層の attention の追加コンテキストとして出力に影響を与える。全量微調整より軽量で、マルチタスク適応や低リソース訓練に適するが、一定のコンテキストまたは計算リソースを消費し、対象タスクへの制御力を評価で確認する必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • バンド:基盤言語モデル
  • 曲譜トップの説明:通常の prompt
  • 楽団を再訓練する:全量ファインチューニング
  • 見えない導入の手がかり:学習済みプレフィックスベクトル
  • 後続の演奏に影響:attention の文脈を通じてモデル出力を変調する
  • 前奏が長すぎて本曲を圧迫:プレフィックス長とコンテキスト/計算コスト
  • 最終的な洞察:Prefix Tuning は学習可能なプレフィックスで凍結モデルを特定タスクへ導く

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

prompt tuningP-tuningアダプターPEFT

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号