最近想在自己实验室的服务器上部署Qwen2.5-72B做微调实验，手上只有两张4090 24G。看官方说需要多卡，但不太确定具体怎么分配。尝试用vLLM加载，结果直接OOM了。想问问大家，如果做4bit量化推理，双4090能跑起来吗？还是必须上A100？有没有低成本方案推荐，比如CPU offload之类的？真心求教，折腾好几天了。