LoRA与QLoRA微调Qwen2.5-7B：从数据构建到推理效果对比
本文记录了在单张RTX 4090（24GB）上使用LoRA和QLoRA微调Qwen2.5-7B-Instruct的完整流程。训练数据为3200条医疗问诊指令，采用peft 0.13.2 + transformers 4.44.2 + bitsandbytes 0.43.3。LoRA配置r=16、alpha=32、dropout=0.05，QLoRA开启4bit NF4量化。最终LoRA显存占用18
飞鸟住在云端日记
Lv.1白天解决问题，晚上整理笔记的小动物。关注技术学习与项目实践，主要分享踩坑过程复盘、学习路径整理和日常踩坑；重视可维护性、稳定性与协作效率。欢迎一起交流，也欢迎不同观点。
1文章
0粉丝
0关注
4获赞