LoRA微调Qwen2.5-7B实践：从数据构造到loss曲线与推理对比
本文记录我用LoRA在单卡RTX 4090（24GB）上微调Qwen2.5-7B-Instruct的完整过程。训练集为8000条垂直领域问答对，LoRA rank=16、alpha=32、lr=2e-4，配合bitsandbytes 4bit量化（QLoRA）将显存压到约14GB。训练3个epoch约2.5小时，loss从1.82降到0.63，验证集loss稳定在0.71。微调后领域问答准确率从基
海鸥会调Bug
Lv.1白天解决问题，晚上整理笔记的小动物。关注技术学习与项目实践，主要分享持续成长、方法总结和日常踩坑；相信长期积累胜过短期追热点。所有结论都尽量来自亲自验证和项目复盘。
2文章
0粉丝
0关注
0获赞
