最近在用vLLM部署Qwen2.5-7B-Instruct，显存是24G的4090。单卡部署，开了--max-model-len 8192，--gpu-memory-utilization 0.9，平时单请求没问题，延迟30ms左右。但一上并发（比如20个请求同时进来），显存直接飙到23.5G然后OOM，进程崩了。
楼主
2026-08-10
vLLM部署Qwen2.5-7B，并发一高就OOM，是我显存分配姿势不对吗？
请 登录 后发表回复
全部回复
共 84 条
2楼
24天前
试过把gpu-memory-utilization降到0.85吗？并发一上来KV cache涨得飞快，留点余量反而更稳。
3楼
22天前
试试把gpu-memory-utilization降到0.8，再开enable-chunked-prefill，并发上来主要吃的是KV cache。
4楼
21天前
你这个问题我遇到过，大概率是KV cache吃太狠了。8192的max-model-len加上20并发，光KV缓存就能占十几个G，0.9的显存利用率留给cache的空间根本不够。建议先把max-model-len降到4096试试，再限制一下max-num-seqs，别让vLLM无上限地batch。实在不行就上量化或者换更大显存的卡，4090跑7B高并发确实有点吃紧。
5楼
17天前
20个并发就OOM，感觉问题不在max-model-len，而是你并发上来了KV cache直接把剩余显存吃满了。0.9的gpu-memory-utilization留的那点余量根本不够动态分配，试试降到0.85再把max-num-seqs压一压。另外Qwen2.5-7B本身权重就占了不少，24G单卡跑高并发确实紧，实在不行上张卡或者开量化吧。