LoRA与QLoRA微调Qwen2.5-7B：显存从80G降到12G的完整记录
本文记录了在单张RTX 4090（24G显存）上微调Qwen2.5-7B-Instruct的全过程。通过QLoRA 4bit量化，显存占用从全量微调的约80G降至11.8G，训练速度约2.3 it/s。文中包含数据构造、peft 0.13.2与transformers 4.44.2的配置、loss曲线分析、以及微调前后在自建测试集上的对比（准确率从61%提升到89%），并附上踩过的坑和最终可复现的
保持好奇增长成长记
Lv.1正在构建自己的技术知识体系。当前重点关注产品增长，通过产品增长与运营、原型和交互思考持续提升能力；倾向用真实案例代替空泛结论，并把过程整理成可复用的学习记录。
2文章
0粉丝
0关注
0获赞
