最近想把手头的LLaMA和Qwen系列部署到本地玩玩，主要是想接自己的知识库做问答。显卡是3060Ti 8G，试了llama.cpp量化到4bit跑7B还行，但一上13B就爆显存，要么就慢得离谱。看网上有人用GPTQ或者AWQ量化能压到8G以内，但自己配环境各种报错，vLLM又要求显存比较大。想问下各位大佬，8G显存是不是只能老老实实玩7B？有没有什么量化方案或者推理框架能在8G卡上流畅跑13B的？还是说我该直接放弃转用API？
最近想把手头的LLaMA和Qwen系列部署到本地玩玩，主要是想接自己的知识库做问答。显卡是3060Ti 8G，试了llama.cpp量化到4bit跑7B还行，但一上13B就爆显存，要么就慢得离谱。看网上有人用GPTQ或者AWQ量化能压到8G以内，但自己配环境各种报错，vLLM又要求显存比较大。想问下各位大佬，8G显存是不是只能老老实实玩7B？有没有什么量化方案或者推理框架能在8G卡上流畅跑13B的？还是说我该直接放弃转用API？
8G卡跑13B确实吃力，试试AWQ量化加ExLlama2，勉强能跑但速度别指望。
8G卡跑13B得靠GGUF的Q4_K_M量化，llama.cpp能塞进去但速度就10 token/s左右。你这需求不如直接上API省心。