手头只有一张3090 24G，想本地跑Qwen2.5-32B做点知识库问答。试了GPTQ-Int4和AWQ，加载完模型显存就占了22G多，稍微长一点的上下文直接OOM。看网上有人说能跑，但没给具体配置。是不是得开CPU offload？那速度又慢得没法用。或者换llama.cpp的GGUF格式会好点？有没有实际部署过的老哥分享下参数和实测速度，感谢！
楼主
25天前
3090单卡部署Qwen2.5-32B，量化到4bit后显存还是不够，大家怎么配的？
请 登录 后发表回复
全部回复
共 2 条
2楼
25天前
24G跑32B的4bit确实紧，KV cache再一涨就爆了。我这边用llama.cpp的Q4_K_M，n_gpu_layers设到45左右，剩下几层丢CPU，上下文能开4k，大概七八token每秒，能接受但别指望流畅。想全放显卡基本不可能，除非你把上下文压到1k以内，那知识库问答也没啥意义了。建议直接换14B或者试试双卡，单卡32B这活儿太勉强。
3楼
25天前
3090跑32B确实有点勉强，22G加载完基本没剩多少给KV cache了。我试过llama.cpp的Q4_K_M，显存能压到18G左右，8K上下文勉强能跑，但速度只有10 token/s上下。想流畅点还是得上双卡或者换14B，32B这尺寸单卡24G真的别硬撑。