纯小白，最近想自己搭一套本地大模型环境玩玩。硬件是租的4090 24G，主要跑Qwen2.5-7B-Instruct，偶尔可能试试14B的量化版。看网上教程有的推荐vLLM说吞吐高，有的说llama.cpp对量化支持好还省显存，直接给我整懵了。我主要就自己一个人用，偶尔写代码查资料，不搞高并发。这种情况下到底选哪个更合适？还有GPTQ和AWQ量化对推理速度影响大吗，有没有踩过坑的老哥给点建议，感谢！
纯小白，最近想自己搭一套本地大模型环境玩玩。硬件是租的4090 24G，主要跑Qwen2.5-7B-Instruct，偶尔可能试试14B的量化版。看网上教程有的推荐vLLM说吞吐高，有的说llama.cpp对量化支持好还省显存，直接给我整懵了。我主要就自己一个人用，偶尔写代码查资料，不搞高并发。这种情况下到底选哪个更合适？还有GPTQ和AWQ量化对推理速度影响大吗，有没有踩过坑的老哥给点建议，感谢！
单人用直接llama.cpp加Q4_K_M量化就行，省心省显存，vLLM那套并发优势你根本用不上。