← 概念解説に戻る

Concept Fable

知識蒸留

先に結論:Knowledge Distillation は、小さい student model に大きい teacher model の振る舞いを学習させる手法で、通常は出力分布、推論ステップ、中間表現を模倣して能力を保ちながら推論コストを下げます。企業導入では、高コストな大規模モデルの能力を、ローカル展開可能・低遅延・低コストなモデルに圧縮するためによく使われますが、どの能力が保たれ、どの境界が犠牲になったかを評価で確認する必要があります。

Knowledge Distillation · Training and Inference

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

大厨が小灶に書いた火加減譜

王府に一人の大料理人がいました。スープ一口で塩、火加減、骨、水の比率を判断できました。しかし彼は一人しかおらず、毎回の宴席が彼を待ち、客が増えるほど厨房は遅くなりました。

管家はまず小灶の料理人にメニューを暗記させた。紅焼は紅焼、清蒸は清蒸。小料理人はすぐに料理名を言えるようになったが、なぜこの鍋は三息早く火を出し、あの鍋はスープを半勺多く残すべきかは分からなかった。

誰かが大厨の各料理の最終評価を書き写すことを提案した。良、普通、悪。小厨子はそれに倣って練習したが、依然として微妙な違いを学べなかった。

料理長はそこで火加減譜を書いた。各段階でどんな匂いがし、色がどこまで変わり、なぜもっと強い火を使わないのか、似た二つのやり方が何点違うのか。若い料理人は答えを学び、取捨も学んだ。

しばらくして、小灶は王府で最も難しい全席は作れないが、八割のよくある料理は安定して完成できるようになった。出菜は速く、場所を取りにくく、夜でも火を起こせる。

管家は料理長を解任しなかった。彼は試食会を設け、忌避食材、希少食材、急ぎの注文、急な変更を専門に試した。結果は明確に書かれた。小鍋は日常の宴席に適し、国宴の主菜には適さない。厨房は料理長の能力を小鍋が耐えられる形に圧縮し、同時に境界を残した。

小灶の料理人が最も恐れるのは国宴に駆り出されることだ。管家は境界を竈のそばに貼り出した。よくある宴席、固定メニュー、夜間の追加食事は受けられる。希少な貴客、複雑なアレルギー、礼制上の主菜は必ず大厨に頼む。

この取り決めにより、厨房は強手を小さな仕事に縛り付けず、小灶を耐えられない場面に押し出すこともなくなった。火加減の譜が更新されるほど小灶は安定し、境界が明確になるほど客は節約のために代償を払うことが少なくなる。 後に新人が入門するとき、老師匠はまず抽象的な名目を講じるのではなく、あの失敗を振り返らせた。もともとどこが直感に頼っていたのか、最初の修補がなぜ不十分だったのか、新しい取り決めがどうリスクを検査可能な位置に留めるのか。これらの細部を説明でき、いつ沿用し、いつ昇格すべきかを指摘できるようになって、初めてこの方法を本当に理解したと言える。 後に彼らはこの方法を新人の演習にも引き継いだ。まず新人に旧方法で一度やらせ、誤りがどう現れるかを見る。次に新規則でやり直し、どの段階が事前に止められ、どの段階が証拠を残したかを見る。新人が名前を暗記するだけでは、似た場面で乱用する。適用境界、代償、失敗後の補救を語れる者だけが、独立して仕事を請け負うことを許される。

明らかにする

この物語が語るのは:知識蒸留

Knowledge Distillation は、小さい student model に大きい teacher model の振る舞いを学習させる手法で、通常は出力分布、推論ステップ、中間表現を模倣して能力を保ちながら推論コストを下げます。企業導入では、高コストな大規模モデルの能力を、ローカル展開可能・低遅延・低コストなモデルに圧縮するためによく使われますが、どの能力が保たれ、どの境界が犠牲になったかを評価で確認する必要があります。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 大厨:能力は高いが高価、遅い、または導入が難しい大規模モデル
  • 小灶の料理人:より小さく、より安く、より配備しやすい学生モデル
  • 料理名だけ暗記:単純なラベル訓練、情報が粗すぎる
  • 火加減の記録:teacher のソフト出力、説明、または行動の軌跡
  • 試菜席:蒸留後の回帰評価
  • 満漢全席は作れない:小規模モデルの能力境界とトレードオフ

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

teacher modelstudent modelcompressionファインチューニング合成データ
京ICP备2026014272号