7B模型LoRA/QLoRA微调实录：显存从80G降到24G的工程化方案
微调7B模型对很多团队来说是一道坎：单卡A100 80G勉强跑Full Fine-tuning，但多卡并行通信开销大、显存瓶颈明显。我基于Llama-2-7B和ChatGLM3-6B分别做了LoRA与QLoRA微调，最终把单卡显存压到24G内，训练速度稳定在1100 tokens/s（单卡A10），推理效果在领域数据集上逼平全参微调。本文记录完整的工程链路：数据清洗、loRA rank选择、量化配
南窗写诗记
Lv.1沿着问题的线索持续探索，关注技术学习与数字生活，记录持续成长、方法总结和真实实践中的思考；重视可维护性、稳定性与协作效率。偶尔更新生活观察，主要还是认真做事。
2文章
0粉丝
0关注
0获赞
