← 概念辨析に戻る

Concept Contrast Fable

ファインチューニングと指示チューニング:一方は大手術、他方は会話の仕方を変えること

先に結論:チームがモデル最適化を議論するとき、ファインチューニングと指示ファインチューニングが同じ操作と見なされることがよくある。ファインチューニングは領域データでモデルの全パラメータまたは一部パラメータを継続訓練し、変わるのはモデルが何を学んだかである。指示ファインチューニングはモデルに人間の指示形式に従うことを学ばせ、変わるのはモデルがタスクをどう理解し応答するかである。種類を間違えると、コストは正確に計算できず、効果も正しく測定できない。

チームがモデル最適化を議論するとき、ファインチューニングと指示ファインチューニングが同じ操作と見なされることがよくある。ファインチューニングは領域データでモデルの全パラメータまたは一部パラメータを継続訓練し、変わるのはモデルが何を学んだかである。指示ファインチューニングはモデルに人間の指示形式に従うことを学ばせ、変わるのはモデルがタスクをどう理解し応答するかである。種類を間違えると、コストは正確に計算できず、効果も正しく測定できない。

寓話

木工房の二種類の徒弟の改造

古い木工工房には二種類の徒弟がいた。第一類の徒弟はすでに家具を作れるが、カスタム注文——たとえば明式多宝閣の模倣——を受けるたびに、顧客の家に行って寸法を測り、風格を理解し、再現を試みなければならなかった。師匠はこれでは効率が悪すぎると気づき、基礎がしっかりした徒弟を何人か選び、工房で集中的に大量の明式家具を作らせて練習させた。これらの徒弟は集中的な練習を経て、新しい注文を受けても現場に行かず、工房で直接図面を出せるようになった。

第二類の徒弟は問題が違った。腕は悪くないが、客の口頭の説明が理解できない。客が「櫃は軽やかに」と言っても、脚を細くするのか天板を薄くするのかわからない。師匠はこの徒弟たちに翻訳訓練を補い、具体的な家具の作り方を教えるのはやめた。客の口語を動作指令に分解する——材料選び、比率決め、装飾調整。徒弟が学ぶのは「軽やか」から「脚の径を二分縮める」への変換だ。

ある時、老主顧が書斎家具一式を注文した。第一類の学徒が納めた多宝閣は比例が美しく、線が精確で、老師匠も見てうなずいた。第二類の学徒が作ったものは腕前は合格だが気質が違った——客が求めた「素雅」が図面上では「何も加えない」になり、成品は単調に見えた。二類の改造が解決するのは全く異なる層の短板である。

工房の主は後に一つの決まりにまとめた。弟子が同じ種類の家具を作れないなら、その種類の家具の作り方だけを集中的に練習させる。弟子が図面は理解できても人の話は理解できないなら、口頭から図面への変換能力だけを専門に訓練する。二つの訓練は互いに代用できない。

ある時、急ぎの注文が多くの人を困らせた。顧客は「茶餅を収納できる櫃を作ってほしい」と言い、新入りの徒弟は以前に茶葉櫃の専門訓練を受けていたため、機能が完備した茶餅櫃を作り上げた。しかし彼は指示理解の訓練を受けておらず、同じ時期に別の数人の顧客から「若者が好むスタイルにしてほしい」と言われても、どこから直せばいいのか全くわからなかった。

後に工房はすべての見習いに基礎訓練を一巡追加した。もはや具体的な家具の技法ではなく、どんな顧客の説明でも実行可能なステップに分解することを学ぶものだった。この見習いたちは新しいタスクを受けた時、少なくともどこから手を付けるかを知っている——十分にうまくできなくても、完全に詰まることはない。

工房の教習手引きには後にこう書かれた。専項技法はある種のタスクでより精密にさせ、指令理解は見たことのない新しいタスクに遭遇したときに呆然としないようにさせる。二つの経路は訓練データ、評価方法、投入コストが全く異なるが、プロジェクト管理表ではあまりに長く同じ行に書かれていた。

ファインチューニング

事前学習済みモデルを基に、特定領域やタスクのデータでモデルパラメータを継続訓練し、モデルに新しい知識や能力を習得させる。

指示微調整

指示-回答ペアでモデルを訓練し、タスク記述を理解して要求された形式で出力することをモデルに学ばせる。ファインチューニングの特定のサブクラスである。

物語の対応

  • 明式家具を大量に練習:ファインチューニング。特定領域のデータでモデルに某類のタスクを習得させる
  • 「軽やかさ」を脚径を二分縮めることに変換する術を学ぶ:指示微調整により、モデルが口語的なタスク記述を理解して実行に移せるようにする
  • 学徒は多宝閣を作るのは得意だが風格要求が理解できない:領域微調整だけで指示アラインメントが欠けている
  • 基礎翻訳訓練をすべての徒弟に加える:汎用能力パッチとしての指示微調整

Agent プロジェクトに落とし込む

モデルを評価するとき、まずあなたが解決すべきなのは領域知識の不足か、タスクを理解できないことかを区別する。領域知識が不足しているなら業界コーパスを用意して微調整する。タスクを理解できないなら指示-回答ペアを集めて指示微調整を行う。二種類の訓練はデータ量、GPU コスト、評価指標がまったく異なる。混ぜて走らせると、余計に金がかかるうえ、ボトルネックがどこかも見えない。

京ICP备2026014272号