阿洛_Dev手记

7B模型LoRA/QLoRA微调实录：显存从24G降到8G与效果对比

本文记录了一次完整的LLM微调实践，使用LoRA与QLoRA技术对Qwen2-7B-Instruct模型进行领域适配。通过4-bit NF4量化+双LoRA适配器，将峰值显存从全参数微调的24GB+压缩至8.2GB，训练速度仅下降约18%。文章详细对比了LoRA(秩r=16)与QLoRA在相同数据下的loss收敛曲线及推理效果，发现QLoRA在F1指标上仅损失0.7%，却换来了三倍以上的显存节省。