一、为什么我决定自己微调一个7B模型

事情的起因很朴素:我们做了一个面向工业设备运维的问答系统,一开始直接调GPT-4的API,效果不错但成本顶不住——日均两万次调用,账单看着肉疼。后来换成本地部署的Qwen2-7B-Instruct,通用能力没问题,但一碰到具体的设备型号、故障代码、检修规程就开始胡说八道,典型的“知识不在预训练语料里”。

一开始想的是RAG,把维修手册切块塞进向量库。做了两周发现两个问题:一是手册里的内容大量是表格和流程图,切块后语义断裂严重;二是用户提问方式和手册表述差异太大,召回率上不去。于是转向微调,让模型把领域知识“内化”一部分,RAG只做补充。

全参数微调7B?单卡A100 40G想都别想,光是优化器状态就要吃掉70G+。所以路线很明确:LoRA。这篇文章就把整个过程摊开讲,包括我踩的坑。

二、环境与版本:别小看版本对齐

先列环境,这东西不对齐,后面报错能查到怀疑人生:

  • GPU:单卡 A100 40G(PCIe版)
  • CUDA 12.1 / PyTorch 2.3.0
  • transformers 4.41.2
  • peft 0.11.1
  • trl 0.9.6
  • bitsandbytes 0.43.1
  • datasets 2.19.1
  • accelerate 0.30.1

这里有个血泪教训:peft 0.10 和 trl 0.9.6 组合时,SFTTrainer 对 DataCollatorForCompletionOnlyLM 的处理有bug,response template匹配不上会静默不报错,导致loss只在你标记的prompt部分计算,训练出来的模型基本没学到东西。我第一版跑完loss曲线漂亮得可疑(0.9直接掉到0.2),推理一看全是废话。升级到peft 0.11.1后正常。

另外bitsandbytes在CUDA 12.1下要装0.43以上版本,0.41会报 libcusolver.so.11 not found。

三、方案设计:QLoRA还是LoRA?

7B模型用LoRA(fp16加载),显存估算:模型权重14G + LoRA参数和梯度约1G + 激活值,batch size 4、序列长度2048的情况下大约24-28G,A100 40G够用,所以其实不一定需要QLoRA。

但我还是选了QLoRA(4bit量化加载),原因有两个:一是留出显存余量给更大的batch和更长的序列(我们的问答有些带长上下文,最长到3072 token);二是想验证量化对最终效果的影响到底有多大。实测4bit nf4量化后模型加载只占约5.5G,训练峰值显存18.6G,非常宽裕。

配置核心参数:

  • LoRA r=16,alpha=32,dropout=0.05
  • target_modules:q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj(全线性层都挂上,比只挂q/v效果好,代价是参数量从0.5%涨到约1.2%)
  • 学习率 2e-4,cosine调度,warmup ratio 0.03
  • batch size 4 × 梯度累积 8 = 有效batch 32
  • 3个epoch,序列长度2048

数据方面:8000条领域问答,格式统一成Alpaca风格(instruction/input/output),其中留500条做验证集。数据质量比数量重要——我最初用1.5万条爬来的粗糙数据训了一版,效果反而不如精标8000条,噪声数据会把模型带偏。

四、核心实现:训练脚本

数据处理部分,关键是只对output计算loss。用trl的DataCollatorForCompletionOnlyLM配合response template:

from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTTrainer, SFTConfig
from transformers import DataCollatorForCompletionOnlyLM
import torch

model_name = "Qwen/Qwen2-7B-Instruct"

# 4bit量化配置
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    device_map="auto",
    trust_remote_code=True,
)
model = prepare_model_for_kbit_training(model)

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                    "gate_proj", "up_proj", "down_proj"],
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出: trainable params: 20,185,088 || all params: 7,635,570,688 || trainable%: 0.264

注意这里trainable%是0.264%——因为4bit量化后基座参数被压缩统计了,实际可训练参数约2000万。如果只挂q/v,大概是0.08%。

训练主循环:

dataset = load_dataset("json", data_files={"train": "train.jsonl", "valid": "valid.jsonl"})

def format_sample(example):
    text = (f"system\n你是一名工业设备运维专家,回答要准确、简洁。\n"
            f"user\n{example['instruction']}\n{example['input']}\n"
            f"assistant\n{example['output']}")
    return {"text": text}

dataset = dataset.map(format_sample, remove_columns=dataset["train"].column_names)

response_template = "assistant\n"
collator = DataCollatorForCompletionOnlyLM(
    response_template=response_template,
    tokenizer=tokenizer,
)

sft_config = SFTConfig(
    output_dir="./qwen2-7b-lora-iot",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=8,
    num_train_epochs=3,
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.03,
    logging_steps=10,
    save_strategy="epoch",
    eval_strategy="epoch",
    bf16=True,
    max_seq_length=2048,
    dataset_text_field="text",
    optim="paged_adamw_8bit",
    report_to="none",
)

trainer = SFTTrainer(
    model=model,
    args=sft_config,
    train_dataset=dataset["train"],
    eval_dataset=dataset["valid"],
    data_collator=collator,
    tokenizer=tokenizer,
)
trainer.train()
trainer.model.save_pretrained("./qwen2-7b-lora-iot/final")

optim="paged_adamw_8bit" 这个别省,8bit优化器状态又省了约1.5G显存,且paged版本在显存吃紧时能避免OOM。

五、踩坑与优化:三个真实问题

坑1:response template匹配失败。 前面提过,peft/trl版本不对时collator静默失效。验证方法很简单:训练前手动跑一遍collator,打印labels里非-100的token数量,如果等于整条序列长度,说明没匹配上。我后来干脆在脚本里加了个断言。

坑2:loss曲线前100步抖动剧烈。 学习率2e-4对7B模型偏高,前几十步loss在1.5-2.3之间蹦。把warmup从0.01提到0.03、梯度裁剪设成1.0之后平滑了很多。最终曲线:起始loss 1.82,第1个epoch结束0.94,第2个epoch 0.71,第3个epoch 0.63,验证集loss 0.68,没有明显过拟合(训练/验证差距0.05以内)。如果验证loss在第2个epoch后开始回升,就该早停,我试过跑5个epoch,第4个epoch验证loss回到0.72,典型的过拟合。

坑3:推理时忘了merge。 LoRA权重直接加载推理(不merge)比merge后慢约15%,而且有些部署框架对adapter支持不好。生产环境建议merge_and_unload()后导出完整权重:

from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
merged = PeftModel.from_pretrained(base, "./qwen2-7b-lora-iot/final")
merged = merged.merge_and_unload()
merged.save_pretrained("./qwen2-7b-iot-merged")

merge要在bf16/fp16下做,别在4bit量化模型上merge,精度损失明显。

六、效果数据:基线与微调对比

用留出的200条测试集(未参与训练和验证),人工+规则双重评估:

指标 基座Qwen2-7B-Instruct LoRA微调后
领域问答准确率 54% 81%
故障代码回答正确率 38% 86%
格式规范率(按模板输出) 72% 97%
通用问答(MMLU抽样200题) 68.5% 67.2%
单条推理延迟(A100, 512 token输出) 1.9s 1.9s

几个观察:领域能力提升明显,故障代码这类“死知识”提升最大(38%→86%);通用能力掉了1.3个点,属于LoRA微调的正常代价,如果在意可以混入10%-20%通用数据做回放;推理延迟基本无变化,因为LoRA merge后结构不变。

一个具体case对比。问:“SK-2100变频器报E047怎么处理?”基座回答泛泛而谈“检查电源和接线”,微调后能准确说出“E047为直流母线过压,检查制动电阻阻值是否漂移、减速时间是否设置过短(建议≥2.5s)”,和手册一致。

七、总结

这轮实践下来,几个结论供参考:第一,7B模型QLoRA微调的门槛比想象中低,单卡40G甚至24G(降batch)就能跑,成本主要是数据标注;第二,数据质量的决定性远大于数据量,8000条精标数据胜过1.5万条噪声数据;第三,target_modules全挂比只挂q/v效果好,代价只是可训练参数从0.08%到0.26%,显存几乎无感;第四,版本对齐和response template校验这两件事,能帮你省掉至少两天debug时间。

下一步打算试试DoRA和不同r值的消融(r=8/16/32),以及把RAG和微调模型串起来做混合方案——微调负责“知道”,RAG负责“查到最新”。有进展再写一篇。