最近在本地用vLLM部署Qwen2.5-7B做知识问答，显卡是单卡4090。为了省显存用了AWQ 4bit量化，结果发现同一个Prompt，量化后回答质量下降挺明显，尤其是多步推理和格式遵循场景，偶尔还会乱答。换回FP16就正常，但显存又不够。想请教下大家，量化对大模型Prompt效果影响这么大吗？有没有什么Prompt写法或者参数调整能缓解？还是说这个场景就不该用量化？