本地跑大模型,从「我一个人问」到「一组人同时问」,卡点基本不在模型,在调度。先算这笔账。同一个 7B 模型,单流能到 30 token/s,十个人同时打进来,很可能每人只剩 3 token/s。不是模型变慢了,是引擎没把并发做对。别急着装。这篇讲三套引擎对并发的不同态度,和那笔最容易被漏掉的显存账。

先给判断,把这个方向钉死。选 Ollama、vLLM 还是 SGLang,不该先看模型支持,该先看流量长什么样,一个人偶尔问一句,和一组人同时压一个 API,是两套完全不同的部署。这个判断我查过多个来源,口径一致。按并发量。

三个引擎,三件不同的事

Ollama 是给本地开发者用的,一条命令装好,GGUF 模型拉下来就能跑,OpenAI 兼容接口,Apple 芯片上走 Metal 几乎零配置。短板在并发:默认没有动态连续批处理,请求要么排队,要么分静态并行槽,每个槽还要各自复制一份 KV cache。所以它适合「一次一个人」的原型和 Demo,不适合扛多用户。这是它的天花板。

vLLM 是给生产 API 用的,它两个杀招:连续批处理,让完成的请求离开批次、新请求立刻加入,不用等整批跑完;PagedAttention,把 KV cache 按固定大小的块管理,像操作系统分页一样,显存碎片浪费从 70% 压到 4% 以下。这两个合起来,同一张卡能服务的并发用户远多于天真循环。70% 降到 4% 这个跨度,是多个来源交叉后给的一致口径,方向没问题。

SGLang 跟 vLLM 同属高吞吐阵营,招牌是 RadixAttention。它把算过的 KV 前缀放进一棵基数树,新请求只要共享同一段开头,比如同一个系统提示、同一份 RAG 文档,就直接复用,不用从头算。多轮对话、Agent 工具循环、结构化输出,这些反复重放同一前缀的场景,它的收益最大。

这里补一组第三方基准数字,方向比绝对值有用。同一张 24GB 的 RTX 4090 上跑 16 路并发,Ollama 聚合吞吐约 52 个 token/s,vLLM 约 498,SGLang 约 532。这不是我测的,是 saasglance 一篇 2026 基准给的,我标出处。差距不是几个点,是接近十倍,原因就是 Ollama 没有连续批处理,16 路请求排队串行。看这组数别较真绝对值,看清方向:并发一上来,引擎的差距比模型大。别信单流速度。

KV cache 是最容易被漏掉的显存

很多人算显存只算权重,忘了 KV cache,权重是死的:一个 7B 模型,FP16 约 14GB,8bit 约 7GB,4bit 约 3.5 到 4GB。别只算权重。这个估算是按参数量乘每参数字节数推的,官方口径给的范围也在这个量级,而 KV cache 是活的,它跟着上下文长度和并发数一起涨。长上下文加高并发,KV cache 可能比权重本身还大。这里有个坑。

这里有个常见错配我要点破,你在 8GB 显存的卡上装了个模型,权重占满,剩那点给 KV cache 只够 2 到 3 个并发序列。你以为能跑,其实是只能一个人用。这是硬伤。服务端给 vLLM 设 --max-model-len,也该按真实用量设,设成 128K 而你只用 8K,就是白烧显存。按真实量设。

起服务时该拧哪几个旋钮

vLLM 起服务,几个参数直接决定并发和显存的平衡,--max-num-seqs 是并发序列数的上限,设太大会显存溢出,设太小吞吐上不去。--gpu-memory-utilization 决定 vLLM 最多吃多少显存,给 KV cache 分页留出余量。--max-num-batched-tokens 限制每批总 token 数,避免一条超长序列把队列堵死。--enable-prefix-caching 打开前缀缓存,公共系统提示的场景能把首字延迟压下去。先量再调。

vllm serve Qwen/Qwen2.5-7B-Instruct   --max-model-len 8192   --max-num-seqs 64   --gpu-memory-utilization 0.90   --enable-prefix-caching

这段是我按官方参数名写的起服务示意。我建议你先设小一点,--max-num-seqs 从 16 或 32 起,跑真实负载量首字延迟和吞吐,再往上加。别一上来就 256。这个 16 或 32 是我的判断,不是测出来的,你的卡不同,数就该跟着变。别硬上参数。

选型,我给一条决策线

给个明确分界,不含糊。今天就要在笔记本上有个能用的端点、验证提示词和产品体验、并发基本一次一个人,选 Ollama,它最省心;要对外提供一个共享 GPU API、流量高、请求不重样,默认选 vLLM,它稳、模型覆盖广;你的负载是 Agent 工具循环、多轮聊天、RAG 反复重放同一段前缀,那就对测 SGLang,前缀复用能把成本打下来一截。

还要提醒一句容易忽略的,量化不等于免费,Q4 省一半显存,复杂推理任务上质量可能掉得明显,生产环境优先 FP8 或 AWQ。另外「本地部署」不等于「隐私」自动成立,模型文件来源、服务端口有没有鉴权、运行时有没有把 prompt 传出去,这些都要自己核一遍。

一句话。并发是本地大模型服务化的分水岭:Ollama 让你一个人跑得快,vLLM 让一群人跑得稳,SGLang 让共享同一段上下文的一群人跑得又稳又省。先算清你的并发和 KV cache,再选引擎。