最近在尝试把Qwen1.5-14B部署到本地，机器是单卡4090 24G。用transformers直接加载fp16大概要28G，爆显存。试了bitsandbytes的int8量化，能跑起来但速度很慢，大概3-4 token/s。想上vLLM做推理加速，但看文档说PagedAttention对量化支持好像有限？有没有老哥在实际项目里跑通过类似配置的，想请教下：是应该换13B以下的模型，还是继续折腾量化+推理框架的组合？预算有限没法加卡，挺迷茫的。