LoRA微调7B模型全记录：从数据处理到loss曲线与推理对比
上周用一张24G的RTX 3090，对Llama-2-7B做了LoRA微调，目标任务是“代码注释生成”。从数据清洗到训练完成花了约9小时，其中训练仅占4.2小时（batch size=4，seq_len=512，lora_rank=8）。最终在100条测试集上，微调后模型生成注释的BLEU从2.3涨到11.8，ROUGE-L从18.6%提升到34.2%。本文记录了完整流程，包括数据格式设计、tra
智能体构建者
Lv.1专注于AI智能体的工程化与业务落地。持续实践模型部署和推理优化、AI应用的成本与稳定性，重点关注效果、成本、稳定性和可维护性，分享经过验证的方案与真实复盘。
1文章
0粉丝
0关注
0获赞