← 概念辨析に戻る

Concept Contrast Fable

モデルサービスと推論エンドポイント

先に結論:多くの人は推論エンドポイントをモデルサービスの全てだと思っている——APIが通れば導入は完了だと。しかし推論エンドポイントは伝票を差し出す窓口にすぎず、モデルサービスは窓口の後ろにある厨房全体だ:ロードバランシング、モデルバージョン、弾力的スケーリング、監視アラート、すべてここにある。一つの窓を厨房全体と見なせば、ピークが来た時に痛い目を見る。

多くの人は推論エンドポイントをモデルサービスの全てだと思っている——APIが通れば導入は完了だと。しかし推論エンドポイントは伝票を差し出す窓口にすぎず、モデルサービスは窓口の後ろにある厨房全体だ:ロードバランシング、モデルバージョン、弾力的スケーリング、監視アラート、すべてここにある。一つの窓を厨房全体と見なせば、ピークが来た時に痛い目を見る。

寓話

厨房の後厨と配膳口

城南にスマートキッチンがあり、入口には配膳口が一つだけ開いていた。客は注文を窓から差し入れ、しばらくすると料理が同じ窓から出てくる。外の人は厨房の中が見えない——コンロがいくつあるか、仕込みが何人いるか、ピーク時にどう段取りするか分からない。触れられるのは、その配膳口だけだった。

配膳口の後ろには一つの厨房システム全体がある:食材の入庫は検品が必要、レシピのバージョンは更新が必要、コンロの火加減は注文量に応じて動的に配分が必要、複数のコンロが同時に料理を出すときは合流して盛り付けが必要。厨房の親方である老趙が管理するのはこのシステムで、彼は毎日火加減表、仕込み在庫、提供速度板を見ている。配膳口は一つのことだけを担う:受け取った注文を中に渡し、できた料理を外に渡す。

ある時、チェーン飲食店がこの配膳口に接続しました。最初の月は注文が少なく、配膳口は素早く反応しました。二か月目のランチピーク時、窓口に行列ができ始めました。チェーン店の購買担当はすぐに電話をかけ、あなたたちのインターフェースは壊れているのかと詰め寄りました。老趙は人を派遣して調べたところ、配膳口自体は一秒も詰まっていませんでした——厨房内の一号コンロが過熱で周波数低下し、五口のコンロのうち四口しか動いていなかったのです。配膳口は忠実にすべての注文を渡しましたが、厨房のスケジューラは負荷を空いているコンロに自動で移しませんでした。

チェーン店のエンジニアは言った。「私たちはあなたたちの内部を理解できない。私たちは配膳口だけをテストする。配膳口が落ちていなければ、サービスは正常だと判断する」。老趙は苦笑し、厨房の監視パネルのスクリーンショットを送った。「見えるか?君の注文は受け付けられたが、鍋が足りない。インターフェースが通っているからといって、厨房が回っているわけではない」。

後に老趙は配膳口の横に小さな画面を取り付け、厨房内部のコンロ状態と現在の待ち数をリアルタイム表示した。接続側は厨房に入らなくても、サービスが良いかどうかを見られる。老趙はこう説明した。配膳口は注文できるかどうかを教え、画面は料理がいつ出るかを教える。一つは門、一つは門の中の流れ作業であり、それぞれに指標がある。

年末に厨房は請求を明確に分解した。配膳口の費用は固定月費、厨房内部の拡張は竈の数と调度の複雑さに応じて課金される。チェーン店はついに一つの遅い料理のために無実の窓を訴えなくなり、调度器を訴えるべきか配膳口を訴えるべきかを知り、调度のアップグレードに別途予算を出すこともいとわなくなった。

老趙は新しく来たエンジニアに三つのことを言った。一つの窓を台所全体と見なすな。注文を送り込めることを料理が出せることと見なすな。配膳口が止まってから、コンロがとっくに落ちていたかもしれないと思い出すな。

後に競合他社が見学に来て、老趙にあなたたちの秘訣は何かと尋ねた。老趙は壁のアーキテクチャ図を指さした。私は厨房と配膳口を二つの独立したモジュールとして描いた。厨房が壊れても配膳口は外に注文を一時停止せよと伝えられ、配膳口が壊れても厨房は側門から料理を出せる。分けたことで、かえってどちらもより安定した。

モデルサービス

モデル配備と運用の完全なシステム。負荷分散、バージョン管理、弾力的なスケーリング、ヘルスチェック、ログ監視などの能力を網羅し、モデルが本番環境で安定して利用可能であることを確保する。

推論エンドポイント

呼び出し側に公開されるAPIエントリポイントのアドレスであり、推論リクエストを受け取って結果を返す役割を担う。モデルサービスが外部に見せる一つの窓口であり、それ自体はスケジューリングや運用能力を担わない。

物語の対応

  • 配膳口(推論エンドポイント):API 入口、注文受けと配膳の唯一の対外窓口
  • キッチンシステム(モデルサービス):コンロのスケジューリング、バージョン更新、弾力的なスケーリング、監視を含む運用能力一式
  • コンロ過熱による周波数低下:サービス内部のリソースボトルネック、エンドポイントは通じているがバックエンドに処理能力がない
  • 小さな画面:可観測性パネル、内部状態を呼び出し元に透過的に伝える
  • 分離課金:エンドポイント月額と内部スケール費用を分け、責任範囲を明確化

Andy(任旭)のプロジェクトに落とし込む

顧客が推論エンドポイントの安定性を尋ねるとき、API の接続性を聞いているのか、バックエンドサービスの処理能力を聞いているのかを区別できなければならない。デプロイ方案では推論エンドポイントとモデルサービスを二行に分ける:エンドポイントは接続と安全認証を担い、モデルサービスは拡縮とバージョンのカナリアリリースを担う。エンドポイントが通ってもサービスが良いとは限らない。厨房が空でもエンドポイントは緑のままだ——この認識の差が SLA の約束にもう一層の安全余裕を残す。

京ICP备2026014272号