大模型本地部署选vLLM还是Ollama，纠结好几天了求指点

单卡4090跑14B这个场景我踩过类似的坑，说下我的实际感受。Ollama那套底层其实就是llama.cpp，单请求延迟还行，但它调度确实偏轻量，并发一多就排队排得很难受，你感觉卡不是错觉。vLLM吞吐高是有代价的，它默认会预分配大量显存做KV cache，4090只有24G，14B模型加上长上下文很容易就顶到天花板，参数没调好反而比Ollama还慢。你环境崩两次大概率是torch和cuda版本跟vllm wheel对不上，建议直接用官方推荐的镜像或者conda锁版本，别裸pip硬装。paged attention那些参数先别深究，gpu_memory_utilization调到0.85左右、max_model_len按实际需求压到4k-8k，先跑通再说。真要上生产内网，单卡4090做代码助手其实并发不会太高，vLLM配好之后稳得多，但前提是你得接受它前期折腾的成本。另外可以看看SGLang，部署体验比vLLM顺一点，吞吐也不差，适合不想啃文档的人。

单卡4090跑14B确实有点吃力，Ollama并发差是出了名的，它更适合个人开发调试用。vLLM吞吐高但环境依赖确实折腾人，我第一次也搞崩过，建议直接用官方镜像别自己装。不过你这卡显存就24G，14B量化后vLLM的gpu_memory_utilization得调到0.9左右，不然KV cache不够照样卡。生产环境如果就这一张卡，老实说Ollama省心点，vLLM更适合多卡或者A100那种场景。