← 概念辨析に戻る

Concept Contrast Fable

モデルの性能を継続的に監視し、本番環境のドリフトを発見する

先に結論:モデル監視はリリース後のシステム状態の全体的な観測であり、本番ドリフト検出は入力データ、出力品質、または業務分布が偏移したかどうかを専門的に発見する。ダッシュボードは異常を教え、ドリフト分析はどこから味が変わり始めたかを教える。

モデル監視はリリース後のシステム状態の全体的な観測であり、本番ドリフト検出は入力データ、出力品質、または業務分布が偏移したかどうかを専門的に発見する。ダッシュボードは異常を教え、ドリフト分析はどこから味が変わり始めたかを教える。

寓話

水道工場の看板師匠と水を味わう人

城南の水道廠は毎日数万戸に水を送っている。看板係は十数枚の計器を注視していた。水圧、流速、出水量、濁度、苦情電話数。針が緑区域にあれば、彼はすべて正常だと確認した。長年、この看板は水道廠が管の破裂、ポンプの停止、濾過池の詰まりを避ける助けになった。

ある夏、掲示板はすべて緑だったのに、苦情は倍に増えた。住民は水が変な味がすると言うが、濁度も水圧も緑の範囲内だった。掲示板係はすべての計器を調べたが、異常は見つからなかった。工場長は掲示板が細かくないせいだと考え、さらに計器を増やした。それでも苦情は減らなかった。

ある老いた水味見人が毎日異なる出水口から一杯の水を汲み、濁りだけでなく匂いを嗅ぎ、味を確かめ、上流下流の違いを比べた。数日後、彼は異臭が上流の新建鉱山から来ていることを突き止めた。微量の鉱物が水源に入っていた。これらの鉱物は濁度も水圧も変えないが、水の味を変えることができた。

工場長はついに理解した。看板は設備の故障、詰まり、遅れを見つけられても、水の性質が変わったことは必ずしも見つけられない。彼は水を味わう人に舌だけに頼らせず、毎日水源、中段、末端からそれぞれ試料を採り、ドリフト記録を作らせた。どの指標が変化しているか、いつから偏り始めたか、どの外部事象と同期しているか。

水廠は後に、すべての異常を同じダッシュボードに押し込むのをやめた。ダッシュボードは設備の健全性を管理し続け、水を味わう人が水質の変化を管理する。あるポンプ故障で水圧が急落したとき、ダッシュボードは二分以内に警報を出した。ある冬に水源のミネラル濃度がゆっくり上昇したとき、味見人のトレンド図は二週間前から偏りを示していた。二つの系統はそれぞれ自分の修正方法を指し示す。

新しく導入されたスマート水質センサーにより、水廠は一時、看板と水の味見を一つのダッシュボードに統合しようとした。稼働後に初めてわかったのは、設備故障と水質ドリフトのアラーム条件がまったく異なることだった。前者は突然しきい値を飛び出すもので、後者はゆっくりと坂を登るもので、二組の信号の観察ウィンドウと応答速度は混ぜられない。

工場長は後に新人に二枚の警報票を見せた。一枚には水圧の急低下が書かれ、直ちにポンプと配管を点検すべきとあった。もう一枚にはミネラル分が二週間連続で高値であると書かれ、上流の環境とろ材の交換周期を遡及すべきとあった。同じ浄水場でも、二種類の監視リズムがある。

師匠はまた看板の横に小さな瓶を掛け、毎日新しい水を一口入れ、先月の水と比較した。看板は機械がまだ回っていることを告げ、小瓶は入ってくる水がすでに変わったことを告げた。

モデル監視

モデル稼働後の全体的な観測体系。レイテンシ、エラー率、スループット、リソース消費、ビジネス指標をカバーし、システムが健全に稼働しているかに注目する。

本番ドリフト検出

モデルの入力分布、出力品質、またはビジネスパターンが時間とともに偏移していないかを専門的に検出するもので、監視体系の中の専門的な能力であり、変化がどこから来るのか、トレンドの方向に注目する。

物語の対応

  • ダッシュボード計器:モデル監視における遅延、エラー率、スループットなどのシステム健全性指標
  • 水を味わう人:ドリフト検出における分布・品質・パターン変化の感知
  • 異臭の苦情:業務は問題を感知しているがシステム指標は警報を発していない
  • 鉱物質が緩やかに上昇する。データドリフトの漸進的特徴で、長いウィンドウのトレンド分析が必要だ
  • 二枚の警報票:システム障害とドリフトには異なる観察窓と対応リズムが必要

Agent の本番稼働後の運用に落とし込む

Agentが稼働した後は、呼び出し成功率、遅延、エラーコードを見るだけでなく、ユーザーの質問タイプ分布が変わっていないか、検索結果の関連性が下がっていないか、ツール呼び出しパターンが偏移していないかも見る。前者はサービスが中断しないことを保証し、後者は品質が静かに崩れないことを保証する。

京ICP备2026014272号