← 概念解説に戻る

Concept Fable

分布シフト

先に結論:分布シフトとは、モデルの訓練、検証、または過去の評価が直面するデータ分布が、展開後の実際の入力分布と一致しないことを指す。オフラインのスコアは良くても、オンラインの効果が悪化する。企業 Agent に一般的なシフトには、顧客層の変化、業界言語の変化、タスクタイプの変化、ツールの戻り形式の変化、チャネルの変化、ポリシーの変化が含まれる。ガバナンス方法には、セグメント別監視、リリース前のシナリオカバレッジ、小流量試行、ドリフト検出、評価セットの継続的更新が含まれる。

分布シフト · 評価

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

足を測る尺が別の埠頭へ

鹿港に靴屋があった。最初は地元の漁師に長靴を作るだけだった。主人は多くの足を測り、甲の高さ、底の厚さ、雨季にどれだけ余裕を残すかを知っていた。

靴屋は後に外地の埠頭から大口注文を受けた。番頭は依然として古いサイズ表で作業を始めた。過去に返修が少なく、帳簿がこのサイズ表の信頼性を証明していたからだ。最初のブーツを届けた後、返品が絶えなかった。外地の埠頭労働者は年中塩袋を担ぎ、足の裏がより広い。彼らが歩くのは石畳で、泥の干潟ではない。ブーツを履く時間もより長い。

店主の素朴な修正は、すべての靴を一律に一サイズ大きくすることだった。返品は少し減ったが、新たな問題が生じた。ある者は足を擦り、ある者はつまずき、ある者は靴底が柔らかすぎた。番頭はまた、返品理由で最も多い項目だけを見るよう提案した。しかし各埠頭の問題は異なり、一つの場所のパッチを別の場所に移すと、かえって新たな誤りを生んだ。

老靴匠は人を連れて新しい港で足を測り、道を見、労働時間を聞き、これらの記録を元の鹿港のデータと並べて比較した。彼らは初めて、二群の顧客が同じ世界から来ていないことを見た。

靴屋はサイズ表を組み直した。漁師、塩工、船修理工それぞれにサンプルと検収規則がある。新しい土地の注文はまず小ロットの試し履きを走らせ、それから旧機械をそのまま使うか決める。後に靴屋は新しい埠頭に着くたび、最初にすることは従来通り仕事を始めることではなく、この土地の人、道、天気、使い方がまだ古い台帳に合うか確認することになった。

店主はまず職人を怠慢だと責め、次に皆に縫い目をより密に縫わせた。靴はより丈夫になったが、それでも足を擦った。間違っていたのは技術ではなく、旧い町の足がすべての港の足と見なされていたからだ。

彼は物差しを持って外地に七日間滞在し、足を測り、道を見て、作業時間を尋ね、さらに返品された靴を一足ずつ分解した。新しいサイズ表は数寸しか変えていないが、多くの仮定を変えた。

靴屋は後に旧帳簿を残したが、新しい埠頭と取引するたびにまず試し履きをした。過去の良い成績は過去を示すだけで、未知の場所の未来を保証しない。店主はついに、一つの尺がある場所で正確でも、人群と場面が変わればまだ正確とは限らないと理解した。

明らかにする

この物語が語るのは:分布シフト

分布シフトとは、モデルの訓練、検証、または過去の評価が直面するデータ分布が、展開後の実際の入力分布と一致しないことを指す。オフラインのスコアは良くても、オンラインの効果が悪化する。企業 Agent に一般的なシフトには、顧客層の変化、業界言語の変化、タスクタイプの変化、ツールの戻り形式の変化、チャネルの変化、ポリシーの変化が含まれる。ガバナンス方法には、セグメント別監視、リリース前のシナリオカバレッジ、小流量試行、ドリフト検出、評価セットの継続的更新が含まれる。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 鹿港の漁民:訓練データがカバーする人々とシナリオ
  • 外地の港湾労働者:デプロイ後の新しい入力分布
  • 古いサイズ表:履歴データで学んだモデルの規則
  • 一律に一号大きくする:粗いパッチであり、分布の差異は解決できない
  • 新しい埠頭で足を測り道を見る:生産サンプルを収集し、セグメント間の差異を分析する
  • 小ロット試着:canary、pilot または shadow evaluation
  • セグメント別サイズ表:シーン、業界、ユーザー群ごとに評価と監視を構築
  • 最終洞察:Distribution Shift により、過去の実績が自動的に未来の実績を代表しなくなる

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

generalizationrobustnessdomain adaptationtest set
京ICP备2026014272号