← 概念辨析に戻る

Concept Contrast Fable

推論エンジンと vLLM:一方は形を定め、一方は量をさばく

先に結論:モデル配備では、推論エンジンと vLLM を混同しやすい。推論エンジンは効率的な計算方法を決めるソフトウェアフレームワークであり、vLLM はその中の一つの具体的なオープンソース実装だ。選定時に区別しないと、提案書に書かれたエンジン名と、購入した既存インフラと互換性のないランタイムが食い違う結果になりかねない。

モデル配備では、推論エンジンと vLLM を混同しやすい。推論エンジンは効率的な計算方法を決めるソフトウェアフレームワークであり、vLLM はその中の一つの具体的なオープンソース実装だ。選定時に区別しないと、提案書に書かれたエンジン名と、購入した既存インフラと互換性のないランタイムが食い違う結果になりかねない。

寓話

レーシングデザイン局と量産工場

城北設計局にはエンジン図面一式があり、木材、銅管、火加減を馬車の動力に換算できる。図面は精細で、試作車の製造に適している。使用したい者は、図面と職人の時間に応じて料金を支払う。

後に注文が急増し、試作車の図面は依然として良かったが、毎日の量産には適さなかった。工場では作業位置が混み合い、半製品が列をなし、炉の火は大きくなったり小さくなったりした。職人たちは、生産量を決めるのは図面だけでなく、作業位置の並べ方、材料の待ち方、空いた炉の埋め方でもあると気づいた。

若い管理人が工房を再配置した。似た部品は同じ炉にまとめ、待機中の車体は長短で交互に並べ、よく使う工具は手の届く場所に置き、空いた火口はすぐ次の品を受ける。図面は変わらないのに、出荷速度は上がった。

購買担当者は最初「どの図面を買うのがより賢いか」と尋ねたが、老管理人は首を振った。図面は車がどう走るかを計算できるかどうかを管理し、量産工場は同時に何台走らせ、どれだけ燃料を使い、どれだけ待つかを管理する。

設計局の人は最初は納得しなかった。良い図面がなければ、工場がどんなにうまく並べても車は作れない。管事はそれを認めつつ、庭で詰まっている車台を指して言った。図面はどう作るかを示し、工場は連続して、安く、安定して作れるかどうかを決める。

後に購買担当者は分けて問うことを学んだ。車が走れるかどうかを判断するには設計図を見る。一日に何台納品できるか、繁忙期に詰まらないか、火口をどう再利用するかを判断するには、量産工場の段取り能力を見る。

量産工場も万能ではない。設計図自体が炉を爆発させるなら、いくら作業台を並べても無駄だ。図面が信頼できても現場が混乱していれば、注文は山積みになる。購買担当者がこの二つを分けて見て初めて、設計者に図面を直させるのか、管事に現場を直させるのかが分かる。後に設計局と工場は分業して語り始めた。設計局は車が原理どおり走ることを保証し、工場は多くの車を連続納品できることを保証する。買い手はついに、試作車の能力と量産能力を一つの帳尻に混ぜなくなった。

これ以降、設計局は二つのことを区別した:一つは機関に答えさせること、もう一つは答えを大量のリクエストの中で効率的に流すこと。前者はエンジンの原理のようであり、後者はスループットのために建てられた専用の工房のようである。

推論エンジン

モデル推論計算を担うソフトウェアフレームワークで、演算子最適化、メモリ管理、計算スケジューリング戦略を定義する、抽象的な設計方案の層。

vLLM

PagedAttention などのメカニズムに基づき高性能な LLM 推論サービスを提供する、具体的なオープンソース推論エンジンの実装であり、実行を担うインスタンスである。

物語の対応

  • 設計局がエンジン図面を描く:推論エンジン、計算の抽象方案を定義する
  • 量産工場が毎日数千台をラインオフ:vLLM、具体的な本番級推論ランタイム
  • 購買票には帰属を明記しなければならない:プロジェクト立項時にエンジン選型とランタイム選型を区別する
  • ソリューションの認可とサーバー賃貸料が固く結びついている:エンジンとインフラの結合が移行コストを生む

Agent プロジェクトに落とし込む

技術選定文書では、推論エンジンの方案と具体的なランタイムインスタンスを二つの節に分けて書く。エンジンの方案は「どの最適化戦略を採用し、どのモデルアーキテクチャをサポートするか」に答え、ランタイムインスタンスは「どのハードウェアにデプロイし、並行数はいくつで、遅延上限はいくつか」に答える。予算表でもこの二行を一緒にしてはいけない。そうしないと、ハードウェアを変えてもエンジンを変えても追加で支払うことになる。

京ICP备2026014272号