最近折腾Qwen2.5-7B的本地部署，想搞个简单的对话demo。我用的是一张RTX 3090（24G），按说应该够用，但用transformers加载模型时总是显存溢出，还没跑推理就OOM了。后来试了bitsandbytes的4bit量化，加载成功了，但生成速度特别慢（大概每2秒一个token），而且偶尔还会崩。
最近折腾Qwen2.5-7B的本地部署，想搞个简单的对话demo。我用的是一张RTX 3090（24G），按说应该够用，但用transformers加载模型时总是显存溢出，还没跑推理就OOM了。后来试了bitsandbytes的4bit量化，加载成功了，但生成速度特别慢（大概每2秒一个token），而且偶尔还会崩。
24G跑7B按理说确实不该OOM，你试试用device_map="auto"加载，别手动指定精度，fp16权重也就15G左右，加上KV cache应该够。4bit慢成这样不太正常，bitsandbytes在3090上不该是这速度，看看是不是没装好或者fallback到CPU了。可以换GPTQ的int4模型试试，用exllamav2或者vLLM跑推理，速度会好很多。