最近在搞本地部署，用的是一张24G的4090，跑Qwen2.5-7B-Instruct。一开始直接FP16加载，能跑起来但稍微聊长一点就OOM。后来换成AWQ 4bit量化，显存是降下来了，但推理速度反而慢了，而且偶尔输出会乱码。我试过把max_length从4096调到2048，还是时好时坏。想问下各位老哥，这种情况一般是KV cache导致的还是我的量化参数没配好？有没有比较稳的部署组合推荐？顺便问下vLLM和llama.cpp在这种场景下哪个更省心？
最近在搞本地部署，用的是一张24G的4090，跑Qwen2.5-7B-Instruct。一开始直接FP16加载，能跑起来但稍微聊长一点就OOM。后来换成AWQ 4bit量化，显存是降下来了，但推理速度反而慢了，而且偶尔输出会乱码。我试过把max_length从4096调到2048，还是时好时坏。想问下各位老哥，这种情况一般是KV cache导致的还是我的量化参数没配好？有没有比较稳的部署组合推荐？顺便问下vLLM和llama.cpp在这种场景下哪个更省心？
AWQ 4bit掉速还乱码，大概率是量化校准没做好，换个GPTQ的Int4模型试试，或者直接用官方的FP8权重，4090跑7B的FP8其实压力不大。KV cache才是聊长了OOM的元凶，把gpu_memory_utilization压到0.85再开enable_prefix_caching会稳很多。vLLM吞吐高但吃显存，llama.cpp省心但并发一多就拉胯，单卡自己玩我偏向vLLM配FP8。