最近在试着把7B的模型部署到本地，显卡是3090（24G），按理说应该够用，但一加载就说CUDA out of memory。我试了加载时传low_cpu_mem_usage=True，也试了把max_memory分配给GPU，但好像没多大用。我看网上说用bitsandbytes做4bit量化，但装了之后又报错说找不到CUDA的setup.py，心态有点崩。就想问问大家，实际部署的时候一般怎么配参数？是不是需要把加载的模型分片到多卡或者用offload？另外，除了量化，还有哪些比较实用的显存优化思路？希望能给个可操作的步骤，谢谢了。