一、为什么我决定自己微调一个7B模型
事情的起因很朴素:我们做了一个面向工业设备运维的问答系统,一开始直接调GPT-4的API,效果不错但成本顶不住——日均两万次调用,账单看着肉疼。后来换成本地部署的Qwen2-7B-Instruct,通用能力没问题,但一碰到具体的设备型号、故障代码、检修规程就开始胡说八道,典型的“知识不在预训练语料里”。
一开始想的是RAG,把维修手册切块塞进向量库。做了两周发现两个问题:一是手册里的内容大量是表格和流程图,切块后语义断裂严重;二是用户提问方式和手册表述差异太大,召回率上不去。于是转向微调,让模型把领域知识“内化”一部分,RAG只做补充。
全参数微调7B?单卡A100 40G想都别想,光是优化器状态就要吃掉70G+。所以路线很明确:LoRA。这篇文章就把整个过程摊开讲,包括我踩的坑。
二、环境与版本:别小看版本对齐
先列环境,这东西不对齐,后面报错能查到怀疑人生:
- GPU:单卡 A100 40G(PCIe版)
- CUDA 12.1 / PyTorch 2.3.0
- transformers 4.41.2
- peft 0.11.1
- trl 0.9.6
- bitsandbytes 0.43.1
- datasets 2.19.1
- accelerate 0.30.1
这里有个血泪教训:peft 0.10 和 trl 0.9.6 组合时,SFTTrainer 对 DataCollatorForCompletionOnlyLM 的处理有bug,response template匹配不上会静默不报错,导致loss只在你标记的prompt部分计算,训练出来的模型基本没学到东西。我第一版跑完loss曲线漂亮得可疑(0.9直接掉到0.2),推理一看全是废话。升级到peft 0.11.1后正常。
另外bitsandbytes在CUDA 12.1下要装0.43以上版本,0.41会报 libcusolver.so.11 not found。
三、方案设计:QLoRA还是LoRA?
7B模型用LoRA(fp16加载),显存估算:模型权重14G + LoRA参数和梯度约1G + 激活值,batch size 4、序列长度2048的情况下大约24-28G,A100 40G够用,所以其实不一定需要QLoRA。
但我还是选了QLoRA(4bit量化加载),原因有两个:一是留出显存余量给更大的batch和更长的序列(我们的问答有些带长上下文,最长到3072 token);二是想验证量化对最终效果的影响到底有多大。实测4bit nf4量化后模型加载只占约5.5G,训练峰值显存18.6G,非常宽裕。
配置核心参数:
- LoRA r=16,alpha=32,dropout=0.05
- target_modules:q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj(全线性层都挂上,比只挂q/v效果好,代价是参数量从0.5%涨到约1.2%)
- 学习率 2e-4,cosine调度,warmup ratio 0.03
- batch size 4 × 梯度累积 8 = 有效batch 32
- 3个epoch,序列长度2048
数据方面:8000条领域问答,格式统一成Alpaca风格(instruction/input/output),其中留500条做验证集。数据质量比数量重要——我最初用1.5万条爬来的粗糙数据训了一版,效果反而不如精标8000条,噪声数据会把模型带偏。
四、核心实现:训练脚本
数据处理部分,关键是只对output计算loss。用trl的DataCollatorForCompletionOnlyLM配合response template:
from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTTrainer, SFTConfig
from transformers import DataCollatorForCompletionOnlyLM
import torch
model_name = "Qwen/Qwen2-7B-Instruct"
# 4bit量化配置
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_use_double_quant=True,
)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token
model = AutoModelForCausalLM.from_pretrained(
model_name,
quantization_config=bnb_config,
device_map="auto",
trust_remote_code=True,
)
model = prepare_model_for_kbit_training(model)
lora_config = LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj"],
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出: trainable params: 20,185,088 || all params: 7,635,570,688 || trainable%: 0.264
注意这里trainable%是0.264%——因为4bit量化后基座参数被压缩统计了,实际可训练参数约2000万。如果只挂q/v,大概是0.08%。
训练主循环:
dataset = load_dataset("json", data_files={"train": "train.jsonl", "valid": "valid.jsonl"})
def format_sample(example):
text = (f"system\n你是一名工业设备运维专家,回答要准确、简洁。\n"
f"user\n{example['instruction']}\n{example['input']}\n"
f"assistant\n{example['output']}")
return {"text": text}
dataset = dataset.map(format_sample, remove_columns=dataset["train"].column_names)
response_template = "assistant\n"
collator = DataCollatorForCompletionOnlyLM(
response_template=response_template,
tokenizer=tokenizer,
)
sft_config = SFTConfig(
output_dir="./qwen2-7b-lora-iot",
per_device_train_batch_size=4,
gradient_accumulation_steps=8,
num_train_epochs=3,
learning_rate=2e-4,
lr_scheduler_type="cosine",
warmup_ratio=0.03,
logging_steps=10,
save_strategy="epoch",
eval_strategy="epoch",
bf16=True,
max_seq_length=2048,
dataset_text_field="text",
optim="paged_adamw_8bit",
report_to="none",
)
trainer = SFTTrainer(
model=model,
args=sft_config,
train_dataset=dataset["train"],
eval_dataset=dataset["valid"],
data_collator=collator,
tokenizer=tokenizer,
)
trainer.train()
trainer.model.save_pretrained("./qwen2-7b-lora-iot/final")
optim="paged_adamw_8bit" 这个别省,8bit优化器状态又省了约1.5G显存,且paged版本在显存吃紧时能避免OOM。
五、踩坑与优化:三个真实问题
坑1:response template匹配失败。 前面提过,peft/trl版本不对时collator静默失效。验证方法很简单:训练前手动跑一遍collator,打印labels里非-100的token数量,如果等于整条序列长度,说明没匹配上。我后来干脆在脚本里加了个断言。
坑2:loss曲线前100步抖动剧烈。 学习率2e-4对7B模型偏高,前几十步loss在1.5-2.3之间蹦。把warmup从0.01提到0.03、梯度裁剪设成1.0之后平滑了很多。最终曲线:起始loss 1.82,第1个epoch结束0.94,第2个epoch 0.71,第3个epoch 0.63,验证集loss 0.68,没有明显过拟合(训练/验证差距0.05以内)。如果验证loss在第2个epoch后开始回升,就该早停,我试过跑5个epoch,第4个epoch验证loss回到0.72,典型的过拟合。
坑3:推理时忘了merge。 LoRA权重直接加载推理(不merge)比merge后慢约15%,而且有些部署框架对adapter支持不好。生产环境建议merge_and_unload()后导出完整权重:
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
merged = PeftModel.from_pretrained(base, "./qwen2-7b-lora-iot/final")
merged = merged.merge_and_unload()
merged.save_pretrained("./qwen2-7b-iot-merged")
merge要在bf16/fp16下做,别在4bit量化模型上merge,精度损失明显。
六、效果数据:基线与微调对比
用留出的200条测试集(未参与训练和验证),人工+规则双重评估:
| 指标 | 基座Qwen2-7B-Instruct | LoRA微调后 |
|---|---|---|
| 领域问答准确率 | 54% | 81% |
| 故障代码回答正确率 | 38% | 86% |
| 格式规范率(按模板输出) | 72% | 97% |
| 通用问答(MMLU抽样200题) | 68.5% | 67.2% |
| 单条推理延迟(A100, 512 token输出) | 1.9s | 1.9s |
几个观察:领域能力提升明显,故障代码这类“死知识”提升最大(38%→86%);通用能力掉了1.3个点,属于LoRA微调的正常代价,如果在意可以混入10%-20%通用数据做回放;推理延迟基本无变化,因为LoRA merge后结构不变。
一个具体case对比。问:“SK-2100变频器报E047怎么处理?”基座回答泛泛而谈“检查电源和接线”,微调后能准确说出“E047为直流母线过压,检查制动电阻阻值是否漂移、减速时间是否设置过短(建议≥2.5s)”,和手册一致。
七、总结
这轮实践下来,几个结论供参考:第一,7B模型QLoRA微调的门槛比想象中低,单卡40G甚至24G(降batch)就能跑,成本主要是数据标注;第二,数据质量的决定性远大于数据量,8000条精标数据胜过1.5万条噪声数据;第三,target_modules全挂比只挂q/v效果好,代价只是可训练参数从0.08%到0.26%,显存几乎无感;第四,版本对齐和response template校验这两件事,能帮你省掉至少两天debug时间。
下一步打算试试DoRA和不同r值的消融(r=8/16/32),以及把RAG和微调模型串起来做混合方案——微调负责“知道”,RAG负责“查到最新”。有进展再写一篇。