最近想把手头的一个小项目接个大模型做本地推理，主要是处理一些文本总结和简单问答。我显卡是3060Ti 8G，试了llama.cpp跑7B的q4量化还行，但一上13B就爆显存，速度也掉得厉害。看网上有人用GPTQ或者AWQ能压到8G以内，但配置起来一堆参数搞不太明白。想问问各位实际部署过的，8G显存到底有没有可能稳定跑13B？还是老老实实7B算了？主要不想换卡，预算有限。
最近想把手头的一个小项目接个大模型做本地推理，主要是处理一些文本总结和简单问答。我显卡是3060Ti 8G，试了llama.cpp跑7B的q4量化还行，但一上13B就爆显存，速度也掉得厉害。看网上有人用GPTQ或者AWQ能压到8G以内，但配置起来一堆参数搞不太明白。想问问各位实际部署过的，8G显存到底有没有可能稳定跑13B？还是老老实实7B算了？主要不想换卡，预算有限。
8G跑13B确实挺极限的，我之前用3060Ti试过GPTQ的int4，勉强能塞进去，但上下文一长就崩，得把n_ctx压到512才稳。其实7B的q5或者q6质量已经不错了，做总结问答够用，没必要硬上13B。真要折腾的话可以试试AWQ，比GPTQ省点显存，但配置确实麻烦，得装autoawq那一套。建议还是7B先用着，省下来的时间调调prompt可能收益更大。