← 概念解説に戻る

Concept Fable

データ混合

先に結論:データ混合とは、事前学習や微調整において異なるデータソースを比率に応じて組み合わせる戦略である。コード、数学、中国語、安全性、カスタマーサポート、業界文書などのデータ比率が異なれば、モデルが最終的に得意とする能力や形成される偏りも変わる。

Data Mixing · Training

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

薬舗の処方における薬材の比率

南城の薬舗には大きな薬鍋が一口あり、専ら学徒の処方見分けの練習に使われていた。師匠は山の草薬、海辺の貝殻、城中でよく見る丸散、そしていくつかの稀な毒草の見本をすべて庫に入れ、学徒に毎日処方どおりに見分けさせた。

最初、親方は手間を省こうと、風邪薬と打ち身薬の処方をかごに山ほど放り込んだ。弟子はすぐに上達し、普通の客が来ればすぐに薬を調合できた。しかし珍しい症状にぶつかると、見分けられないか、珍しい毒草を普通の清熱薬と間違え、危うく事故になりかけた。親方は最初、全体の正答率だけを見ていた。普通の処方が多数を占め、数字は良く見えた。珍しい毒草で誤るまで、少数だが高リスクのサンプルが平均値に隠されていることに気づかなかった。

珍しい薬材を全部放り込めという提案もあった。数か月後に新たな問題が起きた:見習いは毎日奇妙な処方を暗記し、最もよくある咳や寒熱さえ判断できなくなった。薬舗は見識が広がったように見えたが、実際の店頭対応はむしろ不安定になった。

師匠はここで薬庫を再配置した。来客の実際の比率に応じてよく使う処方を置き、リスクが高く代価の大きい薬材には固定の練習枠を確保した。似すぎた薬は隔日で対照し、稀だが重要な薬は考核を重くした。練習のたびに、学徒がどの種類の処方でよく間違えるかを見て、次のサンプルを調整した。薬庫の再配置も一度で完了しない。冬に入ると咳喘の客が増え、春には湿疹が多くなる。薬鍋の比率が季節に応じて動かなければ、学徒の手触りはまた偏る。

学徒は、薬鍋の中の材料は多ければよいわけでも、珍しければよいわけでもないと気づいた。材料の出所、比率、繰り返し回数、難易度が共に彼の手感を形作る。ある薬味を入れすぎると、他の味が覆われる。ある種の病が一度も現れなければ、櫃に立つ時は盲になる。ある出所は互いに衝突する。城中の丸散は書き方が整っているが、山里の草薬は呼び名が混乱しており、洗浄と標注をしなければ、学徒は差異を薬性と誤解する。

薬局は最後に規則を残した。練習薬を調合するときは、倉庫で手当たり次第に掴むのではなく、さまざまな来源の間で秤を調整する。秤が正しく調整されれば、学徒は偏ることなく、少数の目立つサンプルに引きずられることもない。

明らかにする

この物語が語るのは:データ混合

データ混合とは、事前学習や微調整において異なるデータソースを比率に応じて組み合わせる戦略である。コード、数学、中国語、安全性、カスタマーサポート、業界文書などのデータ比率が異なれば、モデルが最終的に得意とする能力や形成される偏りも変わる。

したがって、単純に「データが多ければ多いほど良い」わけではない。企業が訓練を続ける際は、データソース、サンプリング重み、過剰と不足のリスクを評価に組み込み、その結果で比率を調整すべきだ。

メタファーのマッピング

  • 異なる原料=異なるデータソース
  • 配合比率=サンプリング重みとデータ混合比率
  • ある味が強すぎる=ある種の能力やバイアスが増幅されている
  • 試食=評価フィードバック
  • 配合の再調整=評価に基づいてデータ比率を調整する

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

事前学習データキュレーションdomain weights
京ICP备2026014272号