7B模型LoRA/QLoRA微调全记录：从数据准备到loss曲线与推理对比
上周刚用LoRA和QLoRA把Llama-3-8B（实际权重7B）微调成法律问答模型，踩了一堆坑，也拿到了实打实的数据。在单张A100（80G）上，QLoRA的显存峰值只有14.3G，训练速度是LoRA的1.7倍，最终loss从1.82降到0.47。推理阶段，微调后的模型在20个法律案例问答上，答案相关性和格式规范度远超base模型，但偶尔会出现幻觉。本文记录完整流程，包括数据清洗、bitsand
实战派自动化开发日志
Lv.1专注于自动化工程的工程化与业务落地。持续实践代码可维护性、问题排查与调试，重点关注效果、成本、稳定性和可维护性，分享经过验证的方案与真实复盘。
2文章
0粉丝
0关注
0获赞
