需求别催求生记

LoRA微调7B参数大模型全记录：从数据清洗到显存优化

上周用单张4090把Llama-3-8B调成了法律问答助手，全程踩坑不断。本文记录完整实践：用QLoRA把显存压在11GB内，微调后模型在自建法律问答集上BLEU提升0.17，回答长度可控性大幅增强。你会看到具体的数据处理代码、训练配置、loss曲线分析，以及最终推理效果对比。关键词：QLoRA、bitsandbytes、PEFT、Llama-3-8B。