一、为什么选择LoRA而不是全参微调

先说结论:不是全参微调不好,是显卡不够。我手上只有一张RTX 4090(24GB),7B模型全参微调即使开bf16混合精度,光优化器状态和梯度就要吃掉接近60GB,根本放不下。QLoRA(4bit量化基座+LoRA适配器)能把显存压到10GB出头,但量化会带来一定的精度损失和推理速度下降。权衡之后我选了普通LoRA:基座模型用bf16加载,只训练适配器参数,显存占用约18GB,刚好卡在24GB的舒适区。

本次任务背景是给一个电商客服场景做领域适配。基座模型Qwen2.5-7B-Instruct通用能力不错,但对平台特有的退换货政策、物流术语、话术模板不熟,经常答非所问或者格式不对。目标是让模型学会"用平台的话术回答平台的问题"。

二、环境与版本

环境尽量写清楚,因为LoRA这块版本兼容性坑不少:

  • GPU:RTX 4090 24GB,驱动 550.54
  • CUDA 12.1,PyTorch 2.3.1
  • transformers 4.42.3
  • peft 0.11.1
  • trl 0.9.6
  • bitsandbytes 0.43.1(本次没用量化,但装了备用)
  • datasets 2.19.1
  • accelerate 0.31.0

这里提醒一句:peft 0.11 和 trl 0.9 的SFTTrainer接口有过一次调整,dataset_text_field 和 max_seq_length 参数名要对上,否则会报莫名其妙的KeyError。我第一次就是被这个卡了半小时。

三、数据准备

数据是这次微调里最花时间的部分,占了整体工作量的六成以上。原始数据是从客服系统导出的真实对话,清洗后得到3200条样本,格式统一成Alpaca风格的三字段:instruction、input、output。

几条数据处理上的经验:

  1. 去重和长度过滤。原始数据里有大量"在吗""你好"这种无信息量的对话,直接删掉。token长度超过2048的样本也砍掉,因为超过max_seq_length会被截断,截断位置不对反而教坏模型。
  2. 格式一致性。output字段必须严格符合目标话术模板,比如退换货回复必须包含"申请入口—时效—注意事项"三段。模型学格式比学知识快,格式样本要占一定比例。
  3. 留出验证集。按9:1切分,2880条训练、320条验证。验证集不参与训练,只用来观察过拟合。

数据组织成jsonl,每行一个样本。加载代码如下:

from datasets import load_dataset

dataset = load_dataset("json", data_files={
    "train": "data/train.jsonl",
    "validation": "data/val.jsonl"
})

def format_sample(sample):
    if sample["input"]:
        prompt = f"### 指令:\n{sample['instruction']}\n\n### 输入:\n{sample['input']}\n\n### 回答:\n"
    else:
        prompt = f"### 指令:\n{sample['instruction']}\n\n### 回答:\n"
    return {"text": prompt + sample["output"]}

train_ds = dataset["train"].map(format_sample, remove_columns=dataset["train"].column_names)
val_ds = dataset["validation"].map(format_sample, remove_columns=dataset["validation"].column_names)
print(train_ds[0]["text"][:300])

四、训练配置与核心代码

LoRA的关键参数我最终定成这样:

  • r=16,lora_alpha=32,lora_dropout=0.05
  • target_modules 选 q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj,也就是注意力层加MLP层全挂上。只挂q/v也能跑,但领域适配效果明显弱一截,实测loss下降慢且最终验证loss高0.1左右。
  • 学习率 2e-4,cosine调度,warmup比例0.03
  • batch size 单卡4,梯度累积4,等效16
  • 3个epoch,bf16混合精度,gradient_checkpointing=True

训练脚本核心部分:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from peft import LoraConfig, get_peft_model
from trl import SFTTrainer

model_name = "Qwen/Qwen2.5-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
model.config.use_cache = False

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
    target_modules=["q_proj","k_proj","v_proj","o_proj",
                    "gate_proj","up_proj","down_proj"],
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出:trainable params: 40,370,176 || all params: 7,655,986,688 || trainable%: 0.527

training_args = TrainingArguments(
    output_dir="./lora-qwen2.5-7b-cs",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.03,
    bf16=True,
    logging_steps=10,
    eval_strategy="steps",
    eval_steps=100,
    save_strategy="epoch",
    gradient_checkpointing=True,
    gradient_checkpointing_kwargs={"use_reentrant": False},
    report_to="none",
)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=train_ds,
    eval_dataset=val_ds,
    dataset_text_field="text",
    max_seq_length=2048,
    tokenizer=tokenizer,
)
trainer.train()
trainer.model.save_pretrained("./lora-qwen2.5-7b-cs/final")

可训练参数约4037万,占总参数量的0.527%,checkpoint体积只有一百多MB,这点很舒服。

五、踩坑与优化记录

坑1:显存OOM。 一开始batch size开8,直接爆显存。降到4并开梯度检查点后,峰值显存稳定在18.2GB。代价是训练速度慢了约25%,单step从1.1秒涨到1.4秒。

坑2:loss震荡。 第一轮学习率用5e-4,loss在前200步剧烈震荡,从1.8跳到2.3又掉回来。降到2e-4后曲线平滑很多。LoRA对学习率比全参微调更敏感,这是我这次最深的体会。

坑3:验证loss不降反升。 第2个epoch末尾验证loss开始抬头,说明过拟合迹象出现。因为训练集只有2880条,3个epoch已经偏多。后来把dropout从0调到0.05,并把最佳checkpoint按验证loss选,最终用的是第2个epoch的权重,而不是最后一个。

坑4:tokenizer的pad token。 Qwen2.5默认没有pad token,不设置会报错或者padding行为异常,必须手动 tokenizer.pad_token = tokenizer.eos_token。

六、loss曲线与推理效果对比

训练loss从初始1.83一路降到0.71,前300步下降最快,之后趋于平缓。验证loss最低点出现在第2个epoch的第2400步左右,约0.78,第3个epoch回升到0.83,印证了过拟合判断。

推理对比用同一批50条测试问题,人工评估两个指标:

指标 基座模型 LoRA微调后
领域术语准确率 62% 89%
回复格式合规率 55% 94%
平均回复长度(字) 187 132

格式合规率提升最明显,因为训练数据里话术模板占了大头。回复长度变短是因为模型学会了直接给结论,不再绕圈子。举个真实例子,问"退货后多久退款",基座模型回答了一大段通用电商知识,微调后直接输出"审核通过后1-3个工作日原路退回,可在'我的订单-退款详情'查看进度",这就是想要的效果。

推理时加载适配器的代码:

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

base = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model = PeftModel.from_pretrained(base, "./lora-qwen2.5-7b-cs/final")
model = model.merge_and_unload()  # 合并后推理更快
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")

prompt = "### 指令:\n用户问退货后多久退款,请按平台话术回答。\n\n### 回答:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
out = model.generate(**inputs, max_new_tokens=256, do_sample=False)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

合并后单条推理延迟约0.9秒(输出100 token左右),和基座模型基本一致,没有额外开销。

七、总结

这次LoRA微调整体符合预期:单卡24GB、2.5小时、0.5%的可训练参数,换来领域术语准确率+27个点、格式合规率+39个点。几点可以复用的结论:target_modules挂全比只挂q/v效果好;学习率2e-4是7B LoRA的稳妥起点;小数据集下3个epoch偏多,按验证loss选checkpoint比按epoch选更靠谱。如果显存更紧张,QLoRA是可行的替代,但要接受量化带来的轻微精度损失,且推理前建议先merge再跑。