← 概念解説に戻る

Concept Fable

モデルドリフト

先に結論:モデルドリフトとは、本番環境における入力分布、目標関係、または業務コンテキストの変化によって、モデルや Agent の効果が低下する現象である。ユーザーの変化、業務プロセスの変化、データ収集方法の変化、外部市場の変化、さらにはツール、ポリシー、上流システムの調整から生じることもある。企業の品質閉ループでは、入力、出力、業務指標、失敗タイプを継続的に監視し、ドリフトが発生した際に再評価、ロールバック、再トレーニング、またはルール調整をトリガーする必要がある。

Model Drift · MLOps / monitoring

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

変わる河道と変わらない橋の規範

柳河鎮には古い橋があり、最初は牛車と歩行者だけが通っていた。橋守は先祖伝来の規則に従って通行させた:車軸が広すぎず、荷箱が高すぎなければ通してよい。長年、大きな事故は起きなかった。

後に埠頭が拡張され、外地の商人隊が来て、車はより重く、荷はより雑多になり、雨季も以前より急になった。橋の規則は変わっていないが、橋を渡る人はもはや以前の人々ではなかった。最初の亀裂が現れたとき、鎮長は大工に橋面を厚く補修させた。亀裂は覆われ、通行も回復し、皆は橋板が古くなっただけだと思った。

数週間後、橋脚が傾き始めた。守橋人は古い帳簿を引っ張り出し、古い規則に従って通す車がますます増えているのに、それらの車の重量、速度、振動はすでに橋を架けた当時の平常をはるかに超えていることに気づいた。

町長はさらに規則を加えた。大きな車はすべて徐行せよ、と。隊商はそれに従ったが、問題は依然として残った。本当に危険なのは大きな車だけではなく、新しい荷物の積み方、新しい車輪の素材、雨後にやわらかくなった河岸もあったからだ。

老いた橋職人は橋面の補修を続けなかった。彼は橋のたもとに水位計、計量台、振動ベルを設置し、毎日橋を渡る車両、川の水位、亀裂の変化、事故の近因を記録した。

記録が広げられて、皆は初めて見た。橋は突然悪くなったのではなく、それが向き合う世界が少しずつ変わったのだ。古い規則は依然として整っているが、もはや現在のリスクを代表できない。

それ以来、橋の通行規則はもはや先祖伝来の寸法だけを見るものではなくなった。川の水、車の重さ、季節、修理記録、通行の結果がともに判断に入る。閾値を超えると、橋は流入を制限し、再検査し、必要なら架け替える。町長は対照日も設けた。毎月、古い規則と新しい記録で同時に何台かの車を評価し、差異が広がっているかを見る。差異が大きいほど、先祖伝来の経験が現在の道から遠ざかっていることを示し、もはや習慣だけで通行させてはならない。橋守は古い規則も参照として残した。新しい車列が通るたびに、彼は古い規則なら通行させるか、実際の結果は安全かを記録する。二本の線が分かれていくほど、町は環境の変化を見えるようになり、橋が裂けてから初めて規則が時代遅れだと認めることはなくなる。町は再検査を暦に書き込んだ。事故が起きてから橋を見るのではなく、橋が向き合う世界が変わっていないかを定期的に確認するのだ。

橋守は最後に悟った。検収合格は、その橋がそのときの川に合っていたことしか示さない。川が変われば、橋もまた測り直されなければならない。

明らかにする

この物語が伝えるのは:モデルドリフト

モデルドリフトとは、本番環境における入力分布、目標関係、または業務コンテキストの変化によって、モデルや Agent の効果が低下する現象である。ユーザーの変化、業務プロセスの変化、データ収集方法の変化、外部市場の変化、さらにはツール、ポリシー、上流システムの調整から生じることもある。企業の品質閉ループでは、入力、出力、業務指標、失敗タイプを継続的に監視し、ドリフトが発生した際に再評価、ロールバック、再トレーニング、またはルール調整をトリガーする必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 古い橋:すでに稼働しているモデルまたは Agent
  • 先祖伝来の橋の規則:訓練時に学んだ規則と、稼働時に設定した仮定
  • 新しい隊商、雨季、車輪の材料:本番環境におけるデータ分布と業務コンテキストの変化
  • 橋面を厚く補修する:表面症状だけを直す一時的なパッチ
  • 水位計、計量台、振動ベル:ドリフト監視指標、ログ、アラート
  • 制限、再検査、再修:降級、再評価、再訓練またはバージョンロールバック
  • 最終的な洞察:Model Drift が注目するのは、モデルが向き合う世界がすでに元の仮定から離れてしまったかどうかである

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

Data driftconcept driftモニタリング再訓練評価性能劣化
京ICP备2026014272号