← 概念辨析に戻る

Concept Contrast Fable

可観測性とLLM可観測性:一つは建物全体の監視、もう一つはエレベーター内のカメラ

先に結論:多くのチームはLLMを導入した後、既存のアプリケーション監視でカバーできると思っている。実際には可観測性はインフラ、アプリケーション、ビジネスを包含する全景ビューであり、LLM可観測性は大規模モデル特有のシグナル——トークン消費、ハルシネーション傾向、セーフティフィルタ命中、検索品質——だけを監視する。汎用監視でLLMを見るのは、体温計でサーバー温度を測るようなものだ。

多くのチームはLLMを導入した後、既存のアプリケーション監視でカバーできると思っている。実際には可観測性はインフラ、アプリケーション、ビジネスを包含する全景ビューであり、LLM可観測性は大規模モデル特有のシグナル——トークン消費、ハルシネーション傾向、セーフティフィルタ命中、検索品質——だけを監視する。汎用監視でLLMを見るのは、体温計でサーバー温度を測るようなものだ。

寓話

商業施設の中央管制室とアイスクリーム屋台の温度調節器

市中心に新しい商業複合施設が開業した。総控室には一面の監視ウォールがあり、各フロアの客流密度、空調温度、エレベーターの運行状態、消防警報を表示している。ショッピングモールのマネージャーは、このウォールでモール全体の運行状況を十分に見渡せると感じていた。

一階に手作りアイスクリームの屋台が新たに入った。店主が使う原料は温度に極めて敏感だった:クリームは四度を超えると分離し始め、ジャムは六度を超えると色が暗くなる。開業最初の二週間、アイスクリームの口当たりは少なからぬ酷評を受けた。マネージャーは総合管理壁を見た。ショッピングモール全体の温度は年間を通じて二十二度で、空調システムには警報記録がなかった。彼は問題はレシピにあると思った。

店主は自分で小さな温度調節器を買って冷蔵櫃のそばに差し込み、数日後に原因を突き止めた。ショッピングモールの中央空調が客足の谷間で自動的に出力を下げ、アイスクリーム屋台はちょうど送風口の死角にあり、毎日午後二時から四時まで冷蔵櫃の実際の温度が静かに七度まで上がり、中央空調が全出力に戻るとまた下がる。この四時間の窓は、総合管理壁のフロア平均温度ではまったく見えない。

店主は温度調節器のデータを持って商業施設と調整案を話し合った。施設全体の温度管理方針を変えるのではなく、アイスクリーム店の近くに独立した小型冷却モジュール一式と専用の温度プローブを追加するだけ。変更は小さいが、問題の核心を突いていた。

商店街は後にこの経験を招商手引きに書き込んだ。標準監視は公共エリアとインフラを覆う。特定業態が環境に敏感な設備に依存する場合、専用の監視を自前で備える必要がある。総合管理壁は間違っていないが、その設計粒度ではアイスクリーム屋台のクリームまでは管理できない。

後にミルクティー店が入場した際、直接四本のプローブを持ち込んだ。一本は茶底温度、一本はタピオカ煮込み鍋、一本はテイクアウト梱包エリア、一本はテイクアウト配達員の滞在時間を測る。総控室は前三本のデータだけを大画面に取り込み、第四本はミルクティー店の商売ロジックであり、店長自身が見るものとした。

商業施設の運営ディレクターが一度の共有会でこう言った:総合管理モニターは施設が生きていることを教えてくれるが、専用センサーはこの商売が生き残れるかを教えてくれる。すべてを同じモニターに詰め込もうとすれば、モニターが重くなりすぎるか、信号が薄くなりすぎるかのどちらかだ。

可観測性

システムのフルスタックを覆う監視、ログ、トレーシング、アラートの体系。システムが正常に動いているかを答える、汎用能力である。

LLM 可観測性

大規模モデル呼び出しに特化した可観測性で、token 使用量、幻覚率、安全フィルタ、検索関連性など LLM 特有のシグナルを追跡する。

物語の対応

  • 統制壁は客流・空調・エレベーターを監視:汎用オブザーバビリティで、インフラとアプリケーション層をカバー
  • アイスクリーム屋台専用の温度調節器:LLM 可観測性、大規模モデル特有のシグナルを追跡
  • 吹き出し口の死角は午後ひっそりと温度が上がる:汎用監視の粒度では LLM 層の問題を捉えられない
  • 商業施設の手引きは特定の業態に専用監視の設置を求める:LLM シーンには汎用監視から独立した専用層が必要

Agent プロジェクトに落とし込む

汎用の可観測性は、レイテンシ、エラー率、リソース利用率といった指標を継続的に注視する。Agent が LLM を組み込んだ後は、LLM 可観測性レイヤーを別に設け、少なくとも各呼び出しの token 消費、出力が期待された形式に合うか、安全モジュールが内容を遮断したか、検索ステップが空の結果を返したかを追跡する。二つのレイヤーのデータは別々のダッシュボードで見て、一つの Grafana パネルですべてを覆えると期待しないこと。

京ICP备2026014272号