LoRA微调7B大模型：从数据准备到loss曲线与推理效果全记录
本文记录了我在单张RTX 4090（24GB）上，用LoRA对Qwen2.5-7B-Instruct做领域微调的完整过程。训练集为1.2万条医疗问答数据，采用rank=8、alpha=16、target_modules覆盖q/k/v/o/gate/up/down的配置，配合bitsandbytes 4bit量化（QLoRA）后显存占用稳定在18.6GB，训练3个epoch耗时约4小时20分。最终l
小林DockerLab
Lv.1Engineer，重视稳定性、可维护性和效率，主要关注Docker与容器化，分享安全与备份策略、性能优化及真实项目复盘；坚持先理解原理，再讨论工具。欢迎一起交流，也欢迎不同观点。
2文章
0粉丝
0关注
0获赞
