一、问题背景:为什么我要微调一个7B模型
先说结论:通用7B模型在垂直领域上的表现,往往卡在“知道但答不准”这个阶段。
我手上的场景是工业设备运维问答。基座用Qwen2.5-7B-Instruct,直接推理时,模型能说出一堆听起来合理但细节错误的答案——比如把某型号PLC的通信波特率说错,把故障代码的含义张冠李戴。这类问题不是靠提示词能解决的,因为模型压根没学过这套私有知识体系。
全参数微调7B模型,bf16下光权重就要14GB,加上优化器状态和梯度,单卡24GB根本不够,至少需要2张A100 80G。我的资源只有一张RTX 4090 24GB,所以LoRA是唯一现实的选择,QLoRA则是在显存更紧张时的退路。
这篇文章记录的就是:用LoRA/QLoRA把Qwen2.5-7B-Instruct微调成领域助手的完整过程,包括数据怎么准备、参数怎么配、loss曲线长什么样、推理效果到底提升了多少。
二、环境与版本
环境版本这件事必须写清楚,否则复现时全是玄学问题。
GPU: NVIDIA RTX 4090 24GB (单卡)
CUDA: 12.1
PyTorch: 2.4.0+cu121
transformers: 4.44.2
peft: 0.12.0
trl: 0.9.6
bitsandbytes: 0.43.3
accelerate: 0.33.0
datasets: 2.20.0
Python: 3.10.14
基座模型:Qwen/Qwen2.5-7B-Instruct,从HuggingFace拉取。选择它是因为中文能力强、chat template规范、7B规模在24GB卡上做LoRA刚好。
三、方案设计
整体思路分三层:
数据层:把领域文档和历史工单整理成“指令-回答”对,统一成ShareGPT风格的多轮格式,最终得到3800条训练样本、200条验证样本。
训练层:LoRA挂在所有线性层上(q_proj/k_proj/v_proj/o_proj/gate_proj/up_proj/down_proj),r=16,alpha=32,dropout=0.05。这个配置是权衡结果:r=8时欠拟合明显,r=32时显存涨到22GB且收益递减,r=16是甜点。
对照层:同一份数据分别跑LoRA(bf16)和QLoRA(4bit NF4 + 双量化),对比显存、速度和效果,给资源受限的同学一个参考。
关键参数如下:
| 参数 | LoRA | QLoRA |
|---|---|---|
| 量化 | 无(bf16) | 4bit NF4 + double quant |
| LoRA r / alpha | 16 / 32 | 16 / 32 |
| learning_rate | 2e-4 | 2e-4 |
| batch_size (per device) | 2 | 2 |
| gradient_accumulation | 8 | 8 |
| 有效batch | 16 | 16 |
| max_seq_length | 2048 | 2048 |
| epochs | 2 | 2 |
| lr_scheduler | cosine | cosine |
| warmup_ratio | 0.03 | 0.03 |
| 显存峰值 | 19.8GB | 11.2GB |
| 单epoch耗时 | 约52min | 约78min |
四、核心实现
4.1 数据准备
数据用JSONL,每行一条,messages字段遵循Qwen的chat格式。重点说三个细节:
第一,system prompt要固定,训练和推理必须一致,否则效果打折。第二,回答里不要留“根据您提供的信息”这类套话,清洗掉,否则模型会学成废话生成器。第三,长样本要截断而不是丢弃,截断时保留问题、砍回答尾部。
格式示例:
{"messages": [{"role": "system", "content": "你是工业设备运维助手,回答要准确、简洁,涉及参数必须给出具体数值。"}, {"role": "user", "content": "西门子S7-1200的PROFINET通信默认端口是多少?"}, {"role": "assistant", "content": "PROFINET基于以太网,使用ISO-on-TCP,端口为102。注意这不是可配置的应用层端口,而是协议固定端口。"}]}
加载和预处理代码:
from datasets import load_dataset
from transformers import AutoTokenizer
MODEL_PATH = "Qwen/Qwen2.5-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
if tokenizer.pad_token is None:
tokenizer.pad_token = tokenizer.eos_token
ds = load_dataset("json", data_files={
"train": "data/train.jsonl",
"validation": "data/val.jsonl"
})
def preprocess(example):
text = tokenizer.apply_chat_template(
example["messages"],
tokenize=False,
add_generation_prompt=False
)
out = tokenizer(
text,
truncation=True,
max_length=2048,
padding=False
)
out["labels"] = out["input_ids"].copy()
return out
train_ds = ds["train"].map(preprocess, remove_columns=ds["train"].column_names)
val_ds = ds["validation"].map(preprocess, remove_columns=ds["validation"].column_names)
print(len(train_ds), len(val_ds)) # 3800 200
注意这里labels直接等于input_ids,因为数据里只有assistant回答是我们想学的,但为了简单我先全序列计算loss。后面在“踩坑”一节会讲,其实应该只对assistant部分计算loss,我最终版本加了mask,eval_loss因此更可信。
4.2 训练配置与启动
用trl的SFTTrainer。LoRA和QLoRA的差异只在模型加载部分,训练参数完全一致。
import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import LoraConfig, prepare_model_for_kbit_training
from trl import SFTTrainer, SFTConfig
USE_QLORA = True # 切False即LoRA bf16
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
bnb_4bit_compute_dtype=torch.bfloat16
) if USE_QLORA else None
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
quantization_config=bnb_config,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True
)
model.config.use_cache = False
if USE_QLORA:
model = prepare_model_for_kbit_training(model)
lora_config = LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
target_modules=["q_proj","k_proj","v_proj","o_proj",
"gate_proj","up_proj","down_proj"]
)
sft_config = SFTConfig(
output_dir="./out_qwen7b_lora",
per_device_train_batch_size=2,
gradient_accumulation_steps=8,
num_train_epochs=2,
learning_rate=2e-4,
lr_scheduler_type="cosine",
warmup_ratio=0.03,
logging_steps=10,
eval_strategy="steps",
eval_steps=50,
save_strategy="steps",
save_steps=200,
save_total_limit=2,
bf16=True,
max_seq_length=2048,
gradient_checkpointing=True,
optim="paged_adamw_8bit",
report_to="none",
dataset_text_field=None
)
trainer = SFTTrainer(
model=model,
args=sft_config,
train_dataset=train_ds,
eval_dataset=val_ds,
peft_config=lora_config,
tokenizer=tokenizer
)
trainer.train()
trainer.save_model("./out_qwen7b_lora/final")
有几个参数值得单独说:gradient_checkpointing=True 用时间换显存,单步慢约18%但省了约4GB;optim="paged_adamw_8bit" 在QLoRA下几乎是必须的,否则优化器状态会撑爆显存;max_seq_length=2048 覆盖了99.2%的样本,剩下0.8%被截断。
五、踩坑与优化
坑1:loss不降,卡在0.87附近。 原因是chat template用错,我一开始手动拼了“User: ... Assistant: ...”,和Qwen原生模板不一致,模型学得很别扭。换成apply_chat_template后loss立刻正常下降。
坑2:QLoRA下loss出现NaN。 排查是学习率2e-4对4bit模型偏高,加上warmup只有0.03。把warmup提到0.05、并确保bnb_4bit_compute_dtype=bfloat16后稳定。另外gradient clipping设成1.0。
坑3:eval_loss虚低。 因为全序列计算loss,模型把大量system prompt和问题部分的token也学进去了,验证集loss看起来漂亮但生成质量一般。改成只对assistant回答区间计算loss后,eval_loss从0.39回升到0.41,但这个数字才真实反映生成能力。
优化:数据配比。 最初3800条里70%是短问答,模型学会了“一句话回答”,长故障排查反而变差。调整成短问答50%、长案例35%、参数查询15%后,长回答的完整性明显改善。
六、效果数据
Loss曲线(LoRA,2 epoch,共476步):
- 第10步:train_loss 0.871,eval_loss 0.873
- 第100步:train_loss 0.563,eval_loss 0.598
- 第250步:train_loss 0.441,eval_loss 0.467
- 第400步:train_loss 0.403,eval_loss 0.428
- 第476步(结束):train_loss 0.392,eval_loss 0.412
曲线形态是典型的前快后慢,150步后进入平台期,eval_loss和train_loss差值稳定在0.02左右,没有明显过拟合。QLoRA的曲线几乎重合,最终eval_loss 0.419,略高一点点,符合4bit量化的预期损失。
推理效果对比(200条验证集,人工盲评,按“准确/部分正确/错误”三档):
| 模型 | 准确 | 部分正确 | 错误 | 准确率 |
|---|---|---|---|---|
| 基线 Qwen2.5-7B-Instruct | 104 | 61 | 35 | 52% |
| LoRA 微调后 | 162 | 29 | 9 | 81% |
| QLoRA 微调后 | 157 | 31 | 12 | 78.5% |
具体例子:问“变频器报OC故障的常见原因”,基线回答泛泛而谈“可能是过流”,微调后能列出“电机绝缘老化、加速时间过短、负载突变、IGBT模块损坏”四类并给出排查顺序,基本对齐资深工程师的回答。
生成速度上,LoRA合并权重后推理无额外开销;QLoRA需要保留4bit基座加载,首token延迟高约12%,但显存占用从15.6GB降到8.9GB,适合显存紧张的部署环境。
七、总结
这次微调最核心的结论有三条:
第一,7B模型LoRA微调在单张4090上是完全可行的,r=16、alpha=32、lr=2e-4这组参数对中文领域任务是稳的,显存19.8GB留有余量。
第二,QLoRA用约1.5倍的训练时间换来了8.6GB的显存节省,效果只掉2.5个百分点,资源受限时是非常划算的交易。
第三,数据质量和loss计算方式比调参重要得多。我花在清洗数据和修正label mask上的时间,收益远超反复试学习率。eval_loss从0.87降到0.41只是表面数字,真正有价值的是那200条人工评测里从52%到81%的准确率跃升。
后续计划是把这个LoRA和另一个代码领域的LoRA做权重合并实验,看看多任务叠加会不会互相干扰。如果有结果再写一篇。