小白一枚，最近在学大模型部署。用vLLM在自己的4090（24G）上跑Qwen2.5-7B-Instruct，float16加载，发现显存直接占了快20G，基本没法再开大一点的batch size了。看网上说7B模型fp16大概只要14G左右，是我哪里配置有问题吗？还是说KV Cache和框架本身的开销就得这么多？另外想问下大家平时部署7B级别的模型，一般用什么量化方案比较稳，GPTQ还是AWQ？求有经验的老哥指点一下，感谢！