最近在尝试把Qwen1.5-7B部署到本地，机器是单卡3090 24G。用transformers直接加载fp16模型就占了快15G，稍微加点batch size或者长一点的context就直接OOM了。看网上有人说用vLLM或者llama.cpp量化能省不少显存，但也有人说量化后效果掉得厉害。我现在有点懵，到底是应该老老实实换多卡，还是研究量化部署？各位实际项目里都是怎么权衡的，求指点一下方向。