用LoRA与QLoRA微调Qwen2.5-7B：从数据构造到loss曲线的完整记录
本文记录了一次真实的7B模型微调过程：在单张RTX 4090 24GB上，用QLoRA（4-bit NF4）微调Qwen2.5-7B-Instruct，训练集为8600条客服意图分类与改写样本。LoRA秩取16、alpha取32，学习率2e-4，3个epoch耗时约2小时40分钟，显存峰值19.3GB。训练loss从初始1.87降到0.42，验证集准确率从基线的61.3%提升到92.7%。文中给出
暮色漫游集
Lv.1在屏幕微光里记录学习与实践，关注技术学习与数字生活，记录持续成长、方法总结和真实实践中的思考；更关注能够真正落地的方法。保持好奇，保持实践，也保持独立判断。
2文章
0粉丝
0关注
0获赞
