最近在搞一个内部工具的对话接口，用VLLM部署了Qwen2.5 7B，单次调用挺流畅的，但并发一上到10个请求左右就开始频繁OOM，直接Kill进程。我看配置里设了max_num_seqs=256，gpu_memory_utilization也调到了0.8，还是顶不住。是不是我模型加载方式不对？还是需要换量化版本？或者得拆成多个副本？求有经验的老哥指点一下，预算有限暂时上不了A100，就一张3090。
最近在搞一个内部工具的对话接口，用VLLM部署了Qwen2.5 7B，单次调用挺流畅的，但并发一上到10个请求左右就开始频繁OOM，直接Kill进程。我看配置里设了max_num_seqs=256，gpu_memory_utilization也调到了0.8，还是顶不住。是不是我模型加载方式不对？还是需要换量化版本？或者得拆成多个副本？求有经验的老哥指点一下，预算有限暂时上不了A100，就一张3090。
max_num_seqs=256这个设太高了，3090显存才24G，7B模型光权重就占将近15G，KV Cache再撑一下就爆了。建议先降到32或者64试试，另外可以考虑开下enable_prefix_caching，重复的prompt能省不少显存。预算有限的话量化确实有效，用AWQ或者GPTQ把模型压到4bit，显存占用能砍一半，并发性能会好很多。