一、为什么选择LoRA而不是全参微调
先说结论:不是全参微调不好,是显卡不够。我手上只有一张RTX 4090(24GB),7B模型全参微调即使开bf16混合精度,光优化器状态和梯度就要吃掉接近60GB,根本放不下。QLoRA(4bit量化基座+LoRA适配器)能把显存压到10GB出头,但量化会带来一定的精度损失和推理速度下降。权衡之后我选了普通LoRA:基座模型用bf16加载,只训练适配器参数,显存占用约18GB,刚好卡在24GB的舒适区。
本次任务背景是给一个电商客服场景做领域适配。基座模型Qwen2.5-7B-Instruct通用能力不错,但对平台特有的退换货政策、物流术语、话术模板不熟,经常答非所问或者格式不对。目标是让模型学会"用平台的话术回答平台的问题"。
二、环境与版本
环境尽量写清楚,因为LoRA这块版本兼容性坑不少:
- GPU:RTX 4090 24GB,驱动 550.54
- CUDA 12.1,PyTorch 2.3.1
- transformers 4.42.3
- peft 0.11.1
- trl 0.9.6
- bitsandbytes 0.43.1(本次没用量化,但装了备用)
- datasets 2.19.1
- accelerate 0.31.0
这里提醒一句:peft 0.11 和 trl 0.9 的SFTTrainer接口有过一次调整,dataset_text_field 和 max_seq_length 参数名要对上,否则会报莫名其妙的KeyError。我第一次就是被这个卡了半小时。
三、数据准备
数据是这次微调里最花时间的部分,占了整体工作量的六成以上。原始数据是从客服系统导出的真实对话,清洗后得到3200条样本,格式统一成Alpaca风格的三字段:instruction、input、output。
几条数据处理上的经验:
- 去重和长度过滤。原始数据里有大量"在吗""你好"这种无信息量的对话,直接删掉。token长度超过2048的样本也砍掉,因为超过max_seq_length会被截断,截断位置不对反而教坏模型。
- 格式一致性。output字段必须严格符合目标话术模板,比如退换货回复必须包含"申请入口—时效—注意事项"三段。模型学格式比学知识快,格式样本要占一定比例。
- 留出验证集。按9:1切分,2880条训练、320条验证。验证集不参与训练,只用来观察过拟合。
数据组织成jsonl,每行一个样本。加载代码如下:
from datasets import load_dataset
dataset = load_dataset("json", data_files={
"train": "data/train.jsonl",
"validation": "data/val.jsonl"
})
def format_sample(sample):
if sample["input"]:
prompt = f"### 指令:\n{sample['instruction']}\n\n### 输入:\n{sample['input']}\n\n### 回答:\n"
else:
prompt = f"### 指令:\n{sample['instruction']}\n\n### 回答:\n"
return {"text": prompt + sample["output"]}
train_ds = dataset["train"].map(format_sample, remove_columns=dataset["train"].column_names)
val_ds = dataset["validation"].map(format_sample, remove_columns=dataset["validation"].column_names)
print(train_ds[0]["text"][:300])
四、训练配置与核心代码
LoRA的关键参数我最终定成这样:
r=16,lora_alpha=32,lora_dropout=0.05- target_modules 选
q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj,也就是注意力层加MLP层全挂上。只挂q/v也能跑,但领域适配效果明显弱一截,实测loss下降慢且最终验证loss高0.1左右。 - 学习率
2e-4,cosine调度,warmup比例0.03 - batch size 单卡4,梯度累积4,等效16
- 3个epoch,bf16混合精度,
gradient_checkpointing=True
训练脚本核心部分:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from peft import LoraConfig, get_peft_model
from trl import SFTTrainer
model_name = "Qwen/Qwen2.5-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True,
)
model.config.use_cache = False
lora_config = LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
target_modules=["q_proj","k_proj","v_proj","o_proj",
"gate_proj","up_proj","down_proj"],
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出:trainable params: 40,370,176 || all params: 7,655,986,688 || trainable%: 0.527
training_args = TrainingArguments(
output_dir="./lora-qwen2.5-7b-cs",
num_train_epochs=3,
per_device_train_batch_size=4,
gradient_accumulation_steps=4,
learning_rate=2e-4,
lr_scheduler_type="cosine",
warmup_ratio=0.03,
bf16=True,
logging_steps=10,
eval_strategy="steps",
eval_steps=100,
save_strategy="epoch",
gradient_checkpointing=True,
gradient_checkpointing_kwargs={"use_reentrant": False},
report_to="none",
)
trainer = SFTTrainer(
model=model,
args=training_args,
train_dataset=train_ds,
eval_dataset=val_ds,
dataset_text_field="text",
max_seq_length=2048,
tokenizer=tokenizer,
)
trainer.train()
trainer.model.save_pretrained("./lora-qwen2.5-7b-cs/final")
可训练参数约4037万,占总参数量的0.527%,checkpoint体积只有一百多MB,这点很舒服。
五、踩坑与优化记录
坑1:显存OOM。 一开始batch size开8,直接爆显存。降到4并开梯度检查点后,峰值显存稳定在18.2GB。代价是训练速度慢了约25%,单step从1.1秒涨到1.4秒。
坑2:loss震荡。 第一轮学习率用5e-4,loss在前200步剧烈震荡,从1.8跳到2.3又掉回来。降到2e-4后曲线平滑很多。LoRA对学习率比全参微调更敏感,这是我这次最深的体会。
坑3:验证loss不降反升。 第2个epoch末尾验证loss开始抬头,说明过拟合迹象出现。因为训练集只有2880条,3个epoch已经偏多。后来把dropout从0调到0.05,并把最佳checkpoint按验证loss选,最终用的是第2个epoch的权重,而不是最后一个。
坑4:tokenizer的pad token。 Qwen2.5默认没有pad token,不设置会报错或者padding行为异常,必须手动 tokenizer.pad_token = tokenizer.eos_token。
六、loss曲线与推理效果对比
训练loss从初始1.83一路降到0.71,前300步下降最快,之后趋于平缓。验证loss最低点出现在第2个epoch的第2400步左右,约0.78,第3个epoch回升到0.83,印证了过拟合判断。
推理对比用同一批50条测试问题,人工评估两个指标:
| 指标 | 基座模型 | LoRA微调后 |
|---|---|---|
| 领域术语准确率 | 62% | 89% |
| 回复格式合规率 | 55% | 94% |
| 平均回复长度(字) | 187 | 132 |
格式合规率提升最明显,因为训练数据里话术模板占了大头。回复长度变短是因为模型学会了直接给结论,不再绕圈子。举个真实例子,问"退货后多久退款",基座模型回答了一大段通用电商知识,微调后直接输出"审核通过后1-3个工作日原路退回,可在'我的订单-退款详情'查看进度",这就是想要的效果。
推理时加载适配器的代码:
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
base = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2.5-7B-Instruct",
torch_dtype=torch.bfloat16,
device_map="auto",
)
model = PeftModel.from_pretrained(base, "./lora-qwen2.5-7b-cs/final")
model = model.merge_and_unload() # 合并后推理更快
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
prompt = "### 指令:\n用户问退货后多久退款,请按平台话术回答。\n\n### 回答:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
out = model.generate(**inputs, max_new_tokens=256, do_sample=False)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
合并后单条推理延迟约0.9秒(输出100 token左右),和基座模型基本一致,没有额外开销。
七、总结
这次LoRA微调整体符合预期:单卡24GB、2.5小时、0.5%的可训练参数,换来领域术语准确率+27个点、格式合规率+39个点。几点可以复用的结论:target_modules挂全比只挂q/v效果好;学习率2e-4是7B LoRA的稳妥起点;小数据集下3个epoch偏多,按验证loss选checkpoint比按epoch选更靠谱。如果显存更紧张,QLoRA是可行的替代,但要接受量化带来的轻微精度损失,且推理前建议先merge再跑。