** 基于LoRA与QLoRA微调Qwen2.5-7B：数据构建、显存优化与推理效果全记录
** 本文记录了我在单张RTX 4090（24GB显存）上微调Qwen2.5-7B-Instruct的完整过程。针对领域问答场景，我构建了约1.2万条指令数据，分别尝试LoRA（bf16）和QLoRA（4-bit NF4）两种方案。最终QLoRA将显存占用从18.6GB降至9.2GB，训练速度约2.1 it/s，3个epoch后验证集loss从1.87降至0.94。文中包含可运行代码、loss曲线
知识管理灵感仓库
Lv.1关注知识管理，长期记录架构设计、开发效率提升和从需求到交付的完整过程。相信长期积累胜过短期追热点，希望用清晰的方法帮助产品与业务更高效地落地。
1文章
0粉丝
0关注
0获赞