一、问题背景:为什么我要微调一个7B模型

先说结论:通用7B模型在垂直领域上的表现,往往卡在“知道但答不准”这个阶段。

我手上的场景是工业设备运维问答。基座用Qwen2.5-7B-Instruct,直接推理时,模型能说出一堆听起来合理但细节错误的答案——比如把某型号PLC的通信波特率说错,把故障代码的含义张冠李戴。这类问题不是靠提示词能解决的,因为模型压根没学过这套私有知识体系。

全参数微调7B模型,bf16下光权重就要14GB,加上优化器状态和梯度,单卡24GB根本不够,至少需要2张A100 80G。我的资源只有一张RTX 4090 24GB,所以LoRA是唯一现实的选择,QLoRA则是在显存更紧张时的退路。

这篇文章记录的就是:用LoRA/QLoRA把Qwen2.5-7B-Instruct微调成领域助手的完整过程,包括数据怎么准备、参数怎么配、loss曲线长什么样、推理效果到底提升了多少。

二、环境与版本

环境版本这件事必须写清楚,否则复现时全是玄学问题。

GPU: NVIDIA RTX 4090 24GB (单卡)
CUDA: 12.1
PyTorch: 2.4.0+cu121
transformers: 4.44.2
peft: 0.12.0
trl: 0.9.6
bitsandbytes: 0.43.3
accelerate: 0.33.0
datasets: 2.20.0
Python: 3.10.14

基座模型:Qwen/Qwen2.5-7B-Instruct,从HuggingFace拉取。选择它是因为中文能力强、chat template规范、7B规模在24GB卡上做LoRA刚好。

三、方案设计

整体思路分三层:

数据层:把领域文档和历史工单整理成“指令-回答”对,统一成ShareGPT风格的多轮格式,最终得到3800条训练样本、200条验证样本。

训练层:LoRA挂在所有线性层上(q_proj/k_proj/v_proj/o_proj/gate_proj/up_proj/down_proj),r=16,alpha=32,dropout=0.05。这个配置是权衡结果:r=8时欠拟合明显,r=32时显存涨到22GB且收益递减,r=16是甜点。

对照层:同一份数据分别跑LoRA(bf16)和QLoRA(4bit NF4 + 双量化),对比显存、速度和效果,给资源受限的同学一个参考。

关键参数如下:

参数 LoRA QLoRA
量化 无(bf16) 4bit NF4 + double quant
LoRA r / alpha 16 / 32 16 / 32
learning_rate 2e-4 2e-4
batch_size (per device) 2 2
gradient_accumulation 8 8
有效batch 16 16
max_seq_length 2048 2048
epochs 2 2
lr_scheduler cosine cosine
warmup_ratio 0.03 0.03
显存峰值 19.8GB 11.2GB
单epoch耗时 约52min 约78min

四、核心实现

4.1 数据准备

数据用JSONL,每行一条,messages字段遵循Qwen的chat格式。重点说三个细节:

第一,system prompt要固定,训练和推理必须一致,否则效果打折。第二,回答里不要留“根据您提供的信息”这类套话,清洗掉,否则模型会学成废话生成器。第三,长样本要截断而不是丢弃,截断时保留问题、砍回答尾部。

格式示例:

{"messages": [{"role": "system", "content": "你是工业设备运维助手,回答要准确、简洁,涉及参数必须给出具体数值。"}, {"role": "user", "content": "西门子S7-1200的PROFINET通信默认端口是多少?"}, {"role": "assistant", "content": "PROFINET基于以太网,使用ISO-on-TCP,端口为102。注意这不是可配置的应用层端口,而是协议固定端口。"}]}

加载和预处理代码:

from datasets import load_dataset
from transformers import AutoTokenizer

MODEL_PATH = "Qwen/Qwen2.5-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

ds = load_dataset("json", data_files={
    "train": "data/train.jsonl",
    "validation": "data/val.jsonl"
})

def preprocess(example):
    text = tokenizer.apply_chat_template(
        example["messages"],
        tokenize=False,
        add_generation_prompt=False
    )
    out = tokenizer(
        text,
        truncation=True,
        max_length=2048,
        padding=False
    )
    out["labels"] = out["input_ids"].copy()
    return out

train_ds = ds["train"].map(preprocess, remove_columns=ds["train"].column_names)
val_ds = ds["validation"].map(preprocess, remove_columns=ds["validation"].column_names)
print(len(train_ds), len(val_ds))  # 3800 200

注意这里labels直接等于input_ids,因为数据里只有assistant回答是我们想学的,但为了简单我先全序列计算loss。后面在“踩坑”一节会讲,其实应该只对assistant部分计算loss,我最终版本加了mask,eval_loss因此更可信。

4.2 训练配置与启动

用trl的SFTTrainer。LoRA和QLoRA的差异只在模型加载部分,训练参数完全一致。

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import LoraConfig, prepare_model_for_kbit_training
from trl import SFTTrainer, SFTConfig

USE_QLORA = True  # 切False即LoRA bf16

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=torch.bfloat16
) if USE_QLORA else None

model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    quantization_config=bnb_config,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)
model.config.use_cache = False

if USE_QLORA:
    model = prepare_model_for_kbit_training(model)

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
    target_modules=["q_proj","k_proj","v_proj","o_proj",
                    "gate_proj","up_proj","down_proj"]
)

sft_config = SFTConfig(
    output_dir="./out_qwen7b_lora",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=8,
    num_train_epochs=2,
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.03,
    logging_steps=10,
    eval_strategy="steps",
    eval_steps=50,
    save_strategy="steps",
    save_steps=200,
    save_total_limit=2,
    bf16=True,
    max_seq_length=2048,
    gradient_checkpointing=True,
    optim="paged_adamw_8bit",
    report_to="none",
    dataset_text_field=None
)

trainer = SFTTrainer(
    model=model,
    args=sft_config,
    train_dataset=train_ds,
    eval_dataset=val_ds,
    peft_config=lora_config,
    tokenizer=tokenizer
)

trainer.train()
trainer.save_model("./out_qwen7b_lora/final")

有几个参数值得单独说:gradient_checkpointing=True 用时间换显存,单步慢约18%但省了约4GB;optim="paged_adamw_8bit" 在QLoRA下几乎是必须的,否则优化器状态会撑爆显存;max_seq_length=2048 覆盖了99.2%的样本,剩下0.8%被截断。

五、踩坑与优化

坑1:loss不降,卡在0.87附近。 原因是chat template用错,我一开始手动拼了“User: ... Assistant: ...”,和Qwen原生模板不一致,模型学得很别扭。换成apply_chat_template后loss立刻正常下降。

坑2:QLoRA下loss出现NaN。 排查是学习率2e-4对4bit模型偏高,加上warmup只有0.03。把warmup提到0.05、并确保bnb_4bit_compute_dtype=bfloat16后稳定。另外gradient clipping设成1.0。

坑3:eval_loss虚低。 因为全序列计算loss,模型把大量system prompt和问题部分的token也学进去了,验证集loss看起来漂亮但生成质量一般。改成只对assistant回答区间计算loss后,eval_loss从0.39回升到0.41,但这个数字才真实反映生成能力。

优化:数据配比。 最初3800条里70%是短问答,模型学会了“一句话回答”,长故障排查反而变差。调整成短问答50%、长案例35%、参数查询15%后,长回答的完整性明显改善。

六、效果数据

Loss曲线(LoRA,2 epoch,共476步):

  • 第10步:train_loss 0.871,eval_loss 0.873
  • 第100步:train_loss 0.563,eval_loss 0.598
  • 第250步:train_loss 0.441,eval_loss 0.467
  • 第400步:train_loss 0.403,eval_loss 0.428
  • 第476步(结束):train_loss 0.392,eval_loss 0.412

曲线形态是典型的前快后慢,150步后进入平台期,eval_loss和train_loss差值稳定在0.02左右,没有明显过拟合。QLoRA的曲线几乎重合,最终eval_loss 0.419,略高一点点,符合4bit量化的预期损失。

推理效果对比(200条验证集,人工盲评,按“准确/部分正确/错误”三档):

模型 准确 部分正确 错误 准确率
基线 Qwen2.5-7B-Instruct 104 61 35 52%
LoRA 微调后 162 29 9 81%
QLoRA 微调后 157 31 12 78.5%

具体例子:问“变频器报OC故障的常见原因”,基线回答泛泛而谈“可能是过流”,微调后能列出“电机绝缘老化、加速时间过短、负载突变、IGBT模块损坏”四类并给出排查顺序,基本对齐资深工程师的回答。

生成速度上,LoRA合并权重后推理无额外开销;QLoRA需要保留4bit基座加载,首token延迟高约12%,但显存占用从15.6GB降到8.9GB,适合显存紧张的部署环境。

七、总结

这次微调最核心的结论有三条:

第一,7B模型LoRA微调在单张4090上是完全可行的,r=16、alpha=32、lr=2e-4这组参数对中文领域任务是稳的,显存19.8GB留有余量。

第二,QLoRA用约1.5倍的训练时间换来了8.6GB的显存节省,效果只掉2.5个百分点,资源受限时是非常划算的交易。

第三,数据质量和loss计算方式比调参重要得多。我花在清洗数据和修正label mask上的时间,收益远超反复试学习率。eval_loss从0.87降到0.41只是表面数字,真正有价值的是那200条人工评测里从52%到81%的准确率跃升。

后续计划是把这个LoRA和另一个代码领域的LoRA做权重合并实验,看看多任务叠加会不会互相干扰。如果有结果再写一篇。