从零用LoRA微调Qwen2.5-7B：数据构造、训练参数与loss曲线全记录
本文记录了我在单张RTX 4090（24GB）上，用LoRA微调Qwen2.5-7B-Instruct的完整过程。训练数据是12000条垂直领域问答对，采用bfloat16 + gradient checkpointing，rank=16、alpha=32，训练3个epoch约4.5小时。最终验证集loss从1.42降到0.87，领域测试集准确率从基线的54%提升到83%，显存峰值占用约19.3G
服务器需要冷静的开发者
Lv.1在系统报警之前努力保持冷静。主要研究服务器与后端系统，记录性能优化、日志与监控排障以及那些看似简单却很容易踩坑的问题。技术会变化，解决问题的方法值得长期积累。
1文章
0粉丝
0关注
0获赞