最近在搞一个本地知识库问答的小项目,硬件只有一张3090 24G。模型选了Qwen2.5-14B-Instruct,用vLLM部署,量化用的GPTQ-Int4。但实际跑起来,并发一高(也就3-4个人同时问),首token延迟直接飙到3-4秒,吐字速度也掉到十几token/s。看GPU显存占用也就18G左右,没爆。试过调gpu_memory_utilization和max_model_len,效果不明显。是我哪里配置不对,还是这张卡带14B模型做实时问答本身就吃力?有没有过来人指点一下,感谢!