最近想在自己机器上跑个70B级别的模型，手头只有一张3090（24G显存），看了一圈感觉显存完全不够用。试过llama.cpp的Q4量化版本，加载是能加载，但推理速度太慢了，基本没法正常对话。也考虑过用GPTQ或者AWQ，但看教程说70B至少也得两张卡才行。想问下各位大佬，有没有单卡24G能跑70B的可行方案？哪怕是牺牲一点质量也行，主要是想本地测试用。或者是不是我方向就错了，这个配置就不该碰70B？求指点。