一、问题背景：为什么我要微调一个7B模型

事情的起因很简单。我们团队做的是工业设备运维相关的SaaS产品，客户经常在系统里提问："XX型号的变频器报E-07故障怎么处理？""这个PLC的通信超时应该先查哪几个参数？"这些问题如果直接丢给通用大模型，回答要么太泛，要么直接编造不存在的型号和参数。

我最初试过纯Prompt Engineering，写了很长的system prompt，把设备手册片段塞进上下文。效果怎么说呢——能答对60%左右，但一旦问题涉及具体型号的寄存器地址、参数阈值，模型就开始胡说八道。而且每次请求要带上几千token的检索内容，成本和延迟都下不来。

后来试了RAG，效果有改善，但检索质量不稳定，而且模型有时候会忽略检索到的内容，还是按自己的"理解"回答。我需要的是让模型真正"学会"这个领域的表达方式和知识结构。

于是决定走微调这条路。全量微调7B模型？我手上只有一张RTX 4090（24GB），fp16全量微调7B需要大约60GB+显存，不现实。所以LoRA/QLoRA是唯一的选择。

二、环境与版本

先把环境交代清楚，这部分很重要，因为LoRA相关的库版本兼容性坑不少：

  • 操作系统：Ubuntu 22.04 LTS
  • GPU：NVIDIA RTX 4090，24GB显存
  • CUDA：12.1
  • Python：3.10.13
  • PyTorch：2.3.1+cu121
  • transformers：4.44.2
  • peft：0.12.0
  • bitsandbytes：0.43.3
  • trl：0.9.6
  • accelerate：0.33.0
  • datasets：2.20.0

基座模型选的是Qwen2.5-7B-Instruct。选它的原因：中文能力强、生态好、7B规模在24GB卡上LoRA训练比较舒服、社区有大量微调案例可以参考。

三、方案设计

整体思路是这样：

数据层面：从客服工单和售后记录里清洗出12000条问答对，覆盖变频器、PLC、伺服电机、传感器四大类。每条数据构造成Alpaca格式的instruction/input/output，其中output是我们领域专家审核过的标准答案。

训练策略：
- 采用QLoRA，基座模型4-bit NF4量化加载，双重量化开启
- LoRA作用于q_proj、k_proj、v_proj、o_proj、gate_proj、up_proj、down_proj全部线性层
- rank=16，alpha=32，dropout=0.05
- 学习率2e-4，cosine调度，warmup_ratio=0.03
- batch_size=4，gradient_accumulation_steps=4，等效batch=16
- 训练3个epoch，max_length=1024

评估层面：准备了一个200条的测试集，人工标注了标准答案的关键点，用关键词命中率+人工打分两个维度对比微调前后的效果。

为什么rank选16而不是8或32？我实际跑了r=8、r=16、r=32三组对比。r=8时loss能降到1.1左右就下不去了，明显欠拟合；r=32相比r=16在验证集上只有0.02的提升，但显存占用多了1.2GB，训练时间多了20%。所以r=16是性价比最高的点。

四、核心实现

4.1 数据准备与格式化

数据这块我踩了个坑：一开始直接把原始问答对拼成"Q: ... A: ..."的格式，结果模型学会了在输出里也带上"Q:"和"A:"。后来老老实实用Qwen的chat template来构造。

import json
from datasets import Dataset

def format_example(example):
    messages = [
        {"role": "system", "content": "你是一名工业设备运维专家，请基于准确的设备知识回答问题。"},
        {"role": "user", "content": example["instruction"] + ("\n" + example["input"] if example["input"] else "")},
        {"role": "assistant", "content": example["output"]}
    ]
    text = tokenizer.apply_chat_template(
        messages, tokenize=False, add_generation_prompt=False
    )
    return {"text": text}

with open("data/train.json", "r", encoding="utf-8") as f:
    raw_data = json.load(f)

dataset = Dataset.from_list(raw_data)
dataset = dataset.map(format_example, remove_columns=dataset.column_names)
print(dataset[0]["text"][:500])

这里有个细节：add_generation_prompt=False，因为训练时我们要保留assistant的完整回答。推理时才需要设为True。

4.2 QLoRA训练脚本

核心训练代码用peft + transformers的Trainer：

import torch
from transformers import (
    AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig,
    TrainingArguments, Trainer, DataCollatorForSeq2Seq
)
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training

model_name = "Qwen/Qwen2.5-7B-Instruct"

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    device_map="auto",
    trust_remote_code=True,
)
model = prepare_model_for_kbit_training(model)
model.gradient_checkpointing_enable()

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj","k_proj","v_proj","o_proj",
                    "gate_proj","up_proj","down_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出: trainable params: 40,370,176 || all params: 7,655,986,688 || trainable%: 0.5273

可训练参数只有4000万，占全量的0.53%，这就是LoRA的优雅之处。

训练参数：

training_args = TrainingArguments(
    output_dir="./output/qwen2.5-7b-lora",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    num_train_epochs=3,
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.03,
    logging_steps=10,
    save_strategy="epoch",
    bf16=True,
    optim="paged_adamw_8bit",
    gradient_checkpointing=True,
    report_to="none",
    max_grad_norm=0.3,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
    data_collator=DataCollatorForSeq2Seq(tokenizer, padding=True),
)
trainer.train()
trainer.save_model("./output/qwen2.5-7b-lora/final")

4.3 Loss曲线

训练过程中的loss变化（每10步记录一次）：

  • 第0-50步：loss从2.31快速下降到1.42，模型在快速适应格式
  • 第50-200步：loss缓慢下降至1.05左右，开始学习领域知识
  • 第200-450步：loss继续下降到0.88附近，趋于平稳
  • 第450-560步（结束）：loss在0.85-0.90之间震荡，没有明显过拟合迹象

验证集loss和训练loss基本同步下降，最终验证loss为0.91，比训练loss高0.04，属于正常范围。

一个值得说的现象：第1个epoch结束时loss还在1.1左右，第2个epoch降到了0.95，第3个epoch才到0.87。如果只训1个epoch，效果会明显不够。但训到第4个epoch时验证loss开始回升，所以3个epoch是个合理的停止点。

五、踩坑与优化

坑1：gradient_checkpointing和use_cache冲突

第一次跑的时候报了个警告，说use_cache=True和gradient_checkpointing不兼容。虽然不影响训练，但显存占用比预期高了2GB。解决办法是在加载模型时加model.config.use_cache = False。

坑2：paged_adamw_8bit在bitsandbytes 0.43.3上的问题

这个版本有个已知bug，在某些情况下会导致loss出现NaN。我遇到过一次，在第180步左右loss突然变成nan。后来换了optim="adamw_8bit"就稳定了。如果你也遇到NaN，可以先试试换优化器。

坑3：数据packing

一开始没开packing，max_length=1024的情况下大量短样本被padding到1024，浪费了大概40%的算力。后来开了packing（需要transformers 4.44+配合trl的DataCollatorForCompletionOnlyLM），训练时间从6.2小时降到了4.5小时，效果基本一致。

优化：学习率调度

试过constant、linear、cosine三种。cosine + warmup_ratio=0.03的效果最好，最终loss比linear低了约0.05。warmup很重要，直接上2e-4的学习率在前50步loss会震荡得很厉害。

六、效果数据

6.1 资源占用对比

配置 显存占用 训练时间(3 epoch)
fp16全量微调(估算) ~62GB 不可行
LoRA (fp16 base) 18.6GB 3.8小时
QLoRA (4-bit NF4) 9.8GB 4.5小时

QLoRA虽然慢了一点，但显存占用几乎减半，对于只有单卡的用户来说这是决定性的优势。

6.2 推理效果对比

测试集：200条领域问题，人工标注关键点。

指标 微调前 微调后
关键点命中率 52.3% 89.1%
完全正确率 31.5% 76.4%
编造型号/参数比例 18.7% 3.2%
通用问题(MMLU抽样50题) 68.0% 66.0%

通用能力只掉了2个百分点，这个代价完全可以接受。

6.3 推理示例对比

问题：台达VFD-M变频器显示E-07，怎么排查？

微调前回答（节选）："E-07通常表示过压或欠压故障，建议检查输入电源是否稳定，测量直流母线电压是否在正常范围内..."（泛泛而谈，没有具体数值）

微调后回答（节选）："台达VFD-M的E-07为直流母线过压。排查步骤：1) 用万用表测量DC Bus电压，220V机型正常范围约310V±10%；2) 检查是否在减速时报警，如果是，将Pr.02减速时间从默认5s延长至8-10s；3) 若加了制动电阻，确认阻值是否在说明书要求的80Ω以上..."

具体到参数编号、电压数值、操作步骤，这才是我们要的效果。

6.4 推理速度

合并LoRA权重后，用vLLM部署，单条推理延迟相比原始模型增加不到5%。如果用peft的动态加载方式，会增加约15%的延迟。所以生产环境建议先merge再做量化部署。

七、总结

LoRA/QLoRA确实是个人开发者和小团队微调大模型的最优解。4000万可训练参数、10GB显存、4.5小时训练时间，就能让一个7B模型在垂直领域从"胡说八道"变成"基本可用"。

几个关键经验：

  1. 数据质量远比数量重要。我一开始用了30000条数据，但其中很多是重复或低质量的，效果反而不如精洗后的12000条。
  2. rank不是越大越好。r=16对于7B模型+垂直领域知识注入这个场景足够了，再大就是浪费。
  3. 一定要留验证集。否则你根本不知道模型是学会了还是过拟合了。
  4. 关注通用能力的保持。可以在训练数据里混入5%-10%的通用指令数据，能有效缓解灾难性遗忘。
  5. QLoRA的量化损失比你想象的小。4-bit NF4 + 双重量化，在LoRA微调场景下和fp16基座的差距很小，但显存节省是实打实的。

下一步我打算试试用DPO做偏好对齐，把"准确但啰嗦"的回答优化成"准确且简洁"。如果有进展再写一篇。