部署7B大模型用AWQ量化后，显存为什么还是降不下来？

这个问题我也遇到过，当时折腾了好久才发现是vLLM在加载AWQ模型的时候，默认的weight loading方式会先把FP16的原始权重读进来再转量化权重，导致中间有一波显存峰值，而且如果显存没释放干净，跑起来就会一直占着。你试试在加载时加上--quantization awq这个参数，同时指定--dtype half，别用auto，auto有时候会fallback到FP16。另外还有一点容易忽略，就是AWQ的量化权重虽然在存储上小了，但推理时为了保持精度，vLLM里很多算子还是需要保留一些FP16的中间缓存，尤其context长度大的时候，这部分显存开销几乎和量化前一样。你双3090的话，可以试试把max-model-len设小一点，比如4096，别用默认的8192，同时调整下--gpu-memory-utilization到0.85左右，给缓存留点余量。还有个比较trick的地方，用AutoAWQ做量化时记得设--calib-dataset对应你的实际任务分布，不然量化校准不对，vLLM可能会因为精度问题自动回退部分层到FP16计算，显存就下不来了。