LoRA微调Llama-3-8B中文对话模型：显存9.8G与loss 0.72的全记录

一、为什么是LoRA而不是全量微调？

先说结论：全量微调8B模型在单卡上就是个笑话。FP16全量微调需要至少80GB显存，即便用DeepSpeed ZeRO-3也得两张A100。但LoRA把可训练参数量压到0.5%以下，配合QLoRA的4-bit NF4量化，单张24GB卡完全能跑。

我这次的目标是让Llama-3-8B（原版Meta权重）学会回答电商客服问题，比如退货流程、物流查询、优惠券使用。训练集是自采的3000条中文问答对，验证集500条。没有用任何中文基座，就想看看纯英文模型用LoRA硬调中文效果如何。

环境版本先摆出来，省得后面参数对不上：

transformers==4.40.1
peft==0.10.0
bitsandbytes==0.43.1
accelerate==0.30.0
torch==2.3.0
CUDA==12.1
显卡：RTX 3090 24GB

二、数据准备：清洗比模型更重要

数据是自己攒的，质量参差不齐。我做了三步清洗：

1. 去重：用simhash去除相似度>0.85的重复样本，从4000条减到3000条
2. 过滤：长度512字符的直接丢弃，避免padding浪费
3. 格式化：统一加上指令模板

最终数据格式是标准的instruction + input + output三段式：

{
  "instruction": "用户咨询退货流程",
  "input": "我买了一件衣服，不合适想退，怎么操作？",
  "output": "您好，退货流程如下：1. 在订单页面点击申请售后；2. 填写退货原因并提交；3. 等待审核通过后寄回商品；4. 仓库收货后3个工作日内退款。"
}

训练时用tokenizer.apply_chat_template转成ChatML格式，关键代码：

def preprocess_function(examples):
    conversations = []
    for instr, inp, out in zip(examples["instruction"], examples["input"], examples["output"]):
        prompt = f"user\n{instr}\\n{inp}assistant\n"
        conversations.append(prompt + out + "")

    tokenized = tokenizer(conversations, truncation=True, max_length=512, padding=False)
    tokenized["labels"] = tokenized["input_ids"].copy()
    return tokenized

注意：这里有个坑——labels必须和input_ids对齐，但要把和这些特殊token的loss屏蔽掉。我直接copy了input_ids，虽然会多算几个token的loss，但影响不大。真要严格的话用model.prepare_decoder_input_ids_from_labels。

三、训练配置：QLoRA参数调优记录

LoRA配置我试了两版，最终用的第二版：

第一版（失败）：r=16, alpha=32, dropout=0.1
结果：loss 1.2就降不动了，生成结果中文夹杂英文

第二版（成功）：r=8, alpha=16, dropout=0.05
结果：loss 0.72，中文流畅度明显改善

为什么r=16反而差？我怀疑是数据量太少（3000条），r越大越容易过拟合。r=8反而让模型学到更本质的语义。

完整训练参数：

model_name: "meta-llama/Llama-3-8B"
quantization:
  load_in_4bit: true
  bnb_4bit_quant_type: "nf4"
  bnb_4bit_use_double_quant: true
  bnb_4bit_compute_dtype: "float16"
lora_config:
  r: 8
  lora_alpha: 16
  lora_dropout: 0.05
  target_modules: ["q_proj", "v_proj", "k_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
training:
  per_device_train_batch_size: 4
  gradient_accumulation_steps: 4
  learning_rate: 2e-4
  num_epochs: 3
  max_grad_norm: 0.3
  warmup_ratio: 0.03
  fp16: true

关键选择：target_modules我全加了（不只是q_proj和v_proj），因为8B模型参数多，全加也就多几百M显存。实测效果比只调q/v好不少。

训练启动代码：

from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTTrainer

# 加载4-bit量化模型
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3-8B",
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.float16,
    device_map="auto"
)

# 准备QLoRA训练
model = prepare_model_for_kbit_training(model)
lora_config = LoraConfig(
    r=8, lora_alpha=16, lora_dropout=0.05,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    bias="none", task_type="CAUSAL_LM"
)
model = get_peft_model(model, lora_config)

training_args = TrainingArguments(
    output_dir="./llama3-8b-chinese-ecommerce",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    num_train_epochs=3,
    logging_steps=20,
    save_steps=500,
    evaluation_strategy="steps",
    eval_steps=200,
    fp16=True,
    max_grad_norm=0.3,
    warmup_ratio=0.03,
    report_to="tensorboard"
)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["test"],
    tokenizer=tokenizer,
    max_seq_length=512,
    dataset_text_field="text"
)
trainer.train()

四、Loss曲线解读：别被表面平滑骗了

训练耗时2小时17分钟（3个epoch，3000条数据，batch_size 4 * grad_accum 4 = 有效batch 16）。TensorBoard记录loss曲线如下：

• Epoch 1：loss从2.31降到1.15，降幅最大。但eval loss在1.3附近震荡，说明模型在快速拟合训练分布
• Epoch 2：train loss降到0.89，eval loss降到0.96。此时我发现生成结果开始出现中文，但偶尔还有英文夹杂
• Epoch 3：train loss 0.72，eval loss 0.81。loss曲线趋于平缓，但eval loss和train loss差距在拉大（0.09），有过拟合苗头

经验判断：如果在epoch 2就停，效果反而可能更好。因为epoch 3后期明显在记忆训练集，对泛化没帮助。我最后用的是epoch 2的checkpoint。

优化细节：学习率从2e-4线性衰减到0，warmup占3%。max_grad_norm=0.3很关键，不设的话loss会偶尔跳到5以上然后恢复，显存也会暴涨。

五、推理效果对比：微调前vs微调后

微调前（原版Llama-3-8B）回答中文问题：

输入：我买了一件衣服，不合适想退，怎么操作？
输出：I apologize, but I don't have information about your specific order. Please contact customer service for assistance. (英文回复，完全无法使用)

微调后（LoRA checkpoint）回答：

输入：我买了一件衣服，不合适想退，怎么操作？
输出：您好，请问您的订单号是多少？如果是商品质量问题或尺码不符，可以在订单页面申请退货。退款将在审核通过后1-3个工作日原路退回。如有疑问，欢迎继续咨询。

这个效果已经能直接用了。再测一个没见过的场景：

输入：优惠券过期了还能用吗？
输出：您好，优惠券过期后无法正常使用。建议您关注店铺活动，定期领取新优惠券。如果是因为系统问题导致过期，可以联系人工客服为您处理。

量化对比（用BLEU和人工评分）：

差距已经很小了，但LoRA方案部署成本是GPT-4的零头。推理时合并LoRA权重后模型大小还是8B，单卡3090能跑，不需要额外加速。

六、踩坑记录与优化建议

1. save_pretrained爆显存：保存LoRA adapter时，model.save_pretrained()会临时把模型转成FP32，24GB卡直接OOM。解决办法：trainer.model.save_pretrained('lora_adapter', safe_serialization=True)，但还是要先torch.cuda.empty_cache()。更稳的做法是只保存adapter权重到CPU：
   python PeftModel.from_pretrained(model, lora_adapter_path).merge_and_unload().save_pretrained("merged_model")

2. 中文分词效率低：Llama-3的tokenizer中文平均1个汉字拆成1.7个token，512长度只能装约300个汉字。建议max_seq_length=768或1024，但显存会涨。我实际用512够用，因为客服问答通常短。

3. 损失函数不对齐：如果发现loss一直不降，检查labels是否包含`的loss贡献。我用SFTTrainer自动处理了，但手写Trainer`容易漏。

4. 显存优化：实测batch_size=4 + grad_accum=4是3090的极限，再大就OOM。如果要用更大batch，用gradient_accumulation_steps=8把有效batch提到32。

七、总结

LoRA微调7B模型早已不是高门槛操作，单张消费级显卡完全够用。这次实践的核心教训有三点：

1. 数据质量决定上限：3000条干净数据的效果好过10000条噪声数据
2. LoRA rank不是越大越好：小数据量用r=8，大数据量再考虑r=16
3. loss曲线要结合eval看：train loss继续降不代表模型更好，过拟合点往往在epoch 2

最终方案：QLoRA 4-bit + r=8 + 全目标模块 + 3 epoch（实际用2 epoch），耗时2h17m，显存峰值9.8GB。这个配置在3090/4090上都能跑，甚至16GB显存的笔记本也行。

如果对训练数据或代码有疑问，评论区聊。下一篇准备写如何用vLLM部署这个LoRA模型到生产环境，包括连续对话和并发优化。