SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

推理引擎和 vLLM:一个定型,一个跑量

做模型部署时最容易把推理引擎和 vLLM 混为一谈。推理引擎是决定如何高效计算的软件框架,vLLM 是其中一个具体的开源实现。选型时没分清,结果可能是方案上写的引擎名字,买到的是与现有基础设施不兼容的运行时。

寓言

赛车设计局和量产工厂

一家汽车公司把动力系统拆成两个部门。设计局负责研究发动机的核心方案——缸数、点火顺序、热效率曲线,画出来的图纸可以适配不同车型。量产工厂负责把某个具体方案装到实际下线的车辆里,每天几千台,要求稳定、省油、维修站能修。

公司扩产那一年的采购会上,有人提了一句“我们要动力系统”。采购部门按最低报价招了一家供应商,合同里写的是一套完整的发动机生产线。供应商交货时才发现,公司要的其实不是产线,是能和现有变速箱、底盘、电控系统配合的发动机方案。双方在合同变更上扯了三个月。

后来公司定了一个内部规矩:任何涉及动力系统的采购单,必须同时写清楚“方案归属设计局”还是“归产量工厂”。设计局买的是计算模型和仿真工具,量产工厂买的是硬件、产能和运维。两个部门的预算、KPI 和供应商清单全部分开。

规矩刚执行的时候,一个项目经理嫌麻烦,又把两项写在一起申请了一笔“推理服务整体预算”。结果供应商报了一个全包价,看起来便宜,实际上把方案授权费和服务器租赁费绑死了。一年后想换底层硬件,发现方案授权不支持迁移,整体迁移成本比分开采购高出近两倍。

公司总结会上,财务总监把两类采购画在一张表里:如果你需要灵活选择模型、调整架构、跨平台部署,付的是设计局那笔钱;如果你只要稳定跑某个固定模型、按请求量和延迟付费,付的是量产工厂那笔钱。两笔账不要混着付。

后来有新员工入职,培训教材只写了一行关键提示:看清你签字的那一行是在买方案,还是在买产能。方案可以免费开源,产能按 GPU 小时计费;反过来,产能可能自建,但方案不一定兼容你的调度系统。一行字省了几百万学费。 从此两张账分开记,谁也不再把炉子和酒楼名字混在一起。

推理引擎

负责模型推理计算的软件框架,定义算子优化、内存管理和计算调度策略,是抽象的设计方案层。

vLLM

一个具体的开源推理引擎实现,基于 PagedAttention 等机制提供高性能 LLM 推理服务,是承载运行的实例。

故事对应

  • 设计局画发动机图纸:推理引擎,定义计算的抽象方案
  • 量产工厂每天下线几千台:vLLM,具体的生产级推理运行时
  • 采购单必须写明归属:项目立项时区分引擎选型和运行时选型
  • 方案授权和服务器租费绑死:引擎与基础设施耦合导致迁移成本

落到 Agent 项目里

技术选型文档里,把推理引擎方案和具体运行时实例分成两节来写。引擎方案回答“采用什么优化策略、支持哪些模型架构”,运行时实例回答“部署在什么硬件上、并发多少、延迟上限多少”。预算表里也别把这两行合在一起,否则换硬件或换引擎都会额外付账。