7B模型LoRA微调全流程：数据、训练、Loss与推理对比
手里有一张24G显存的RTX 4090，想微调一个7B模型做领域问答？本文记录了一次完整的LoRA/QLoRA微调实践，从数据清洗、训练配置到Loss收敛曲线、推理效果对比，全程可复现。使用`peft` 0.7.1 + `transformers` 4.35.0，QLoRA 4-bit量化后显存占用仅14GB，训练3个epoch后BLEU得分从0.12提升至0.45，推理输出长度和语义连贯性显著改
持续研究需求分析灵感仓库
Lv.1关注需求分析，长期记录原型和交互思考、业务流程拆解和从需求到交付的完整过程。坚持先理解原理，再讨论工具，希望用清晰的方法帮助产品与业务更高效地落地。
1文章
0粉丝
0关注
0获赞