一、问题背景:为什么要自己微调7B模型
先说背景。我们团队做的是一个面向企业内部文档的问答助手,基座模型一开始直接用的Qwen2.5-7B-Instruct。通用能力没问题,但一碰到公司内部的术语、流程、产品代号就开始胡编。比如问“报销审批走哪个系统”,模型会一本正经地编一个不存在的系统名。
试过几种方案:
- 纯Prompt工程:把术语表塞进system prompt。有效果,但上下文一长就稀释,而且每次请求成本高。
- RAG:检索增强。对“文档里有答案”的问题效果好,但对“需要按固定格式输出”“需要理解内部黑话”的场景还是不够。
- 微调:让模型学会内部术语和输出规范。
最终选了LoRA微调。理由很实际:全量微调7B模型,单卡24G根本跑不动(光优化器状态就爆了),而LoRA只训练不到1%的参数,24G显存完全够用,训练完的adapter只有几十MB,部署时挂载也方便。
这篇文章就把整个过程摊开写一遍,包括踩的坑。
二、环境与版本
先列一下环境,版本对不上很容易出玄学问题:
GPU: RTX 4090 (24GB) x 1
CUDA: 12.1
PyTorch: 2.3.1
transformers: 4.44.2
peft: 0.12.0
trl: 0.9.6
bitsandbytes: 0.43.3
accelerate: 0.33.0
datasets: 2.20.0
基座模型:Qwen2.5-7B-Instruct。
这里说明一下LoRA和QLoRA的选择:QLoRA是4bit量化基座 + LoRA,显存占用更低,7B模型大约6-8G就能跑起来,但训练速度会慢一些(反量化有开销),而且量化本身有精度损失。我们24G显存跑LoRA(bf16基座 + LoRA adapter)峰值大约18G,够用,所以最终选的是LoRA而非QLoRA。如果你的卡是16G甚至12G,那就老老实实上QLoRA。
三、方案设计
整体思路:
- 数据:构造约3000条指令数据,格式为
instruction / input / output,转成Qwen的chat template。 - 微调方式:LoRA,target_modules覆盖所有线性层(q/k/v/o/gate/up/down),这是社区验证过效果比较好的配置。
- 超参:r=16, alpha=32, dropout=0.05, lr=2e-4, cosine调度, warmup 3%, batch size 通过gradient accumulation凑到16, 训练3个epoch。
- 评估:留出50条人工标注的测试集,对比微调前后回答的准确率和格式合规率。
为什么r选16?试过r=8和r=32:r=8在术语记忆上明显不够,loss降不下去;r=32效果和16差不多但显存和训练时间上去了。16是性价比点。
四、核心实现
4.1 数据准备
数据是微调里最花时间的部分,代码反而是最简单的。我们的数据来自内部文档QA对 + 人工改写的指令样本。统一转成下面这种JSONL格式,一行一条:
{"instruction": "报销审批应该走哪个系统?", "input": "", "output": "报销审批请登录财务共享平台(FSS),在「费用报销」模块提交,审批流为:直属主管 → 部门负责人 → 财务复核。"}
然后写个脚本转成模型训练格式,关键是套用Qwen的chat template,并且只对output部分计算loss(prompt部分mask掉),这一点很重要,不然模型会去学怎么复述问题:
import json
from transformers import AutoTokenizer
model_path = "Qwen/Qwen2.5-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
def build_sample(item):
messages = [
{"role": "system", "content": "你是企业内部助手,回答需准确、简洁,涉及内部系统时使用标准名称。"},
{"role": "user", "content": item["instruction"] + (("\n" + item["input"]) if item["input"] else "")},
{"role": "assistant", "content": item["output"]},
]
# 完整对话文本
full_text = tokenizer.apply_chat_template(messages, tokenize=False)
# prompt部分(不含assistant回复)
prompt_text = tokenizer.apply_chat_template(messages[:-1], tokenize=False, add_generation_prompt=True)
return {"text": full_text, "prompt": prompt_text}
with open("train.jsonl", "r", encoding="utf-8") as f, \
open("train_processed.jsonl", "w", encoding="utf-8") as out:
for line in f:
item = json.loads(line)
out.write(json.dumps(build_sample(item), ensure_ascii=False) + "\n")
数据量方面,我们实际用了2860条训练、50条测试。经验上,领域术语类任务1000-3000条就能看到明显效果,再多边际收益下降,除非任务复杂度很高。
4.2 训练配置与代码
训练用trl的SFTTrainer + peft,核心代码如下:
import torch
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from peft import LoraConfig, get_peft_model
from trl import SFTTrainer, DataCollatorForCompletionOnlyLM
model_path = "Qwen/Qwen2.5-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True,
)
lora_config = LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj"],
bias="none",
task_type="CAUSAL_LM",
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出: trainable params: 40,370,176 || all params: 7,655,986,688 || trainable%: 0.5273
dataset = load_dataset("json", data_files="train_processed.jsonl", split="train")
# 只对assistant回复部分计算loss
response_template = "assistant\n"
collator = DataCollatorForCompletionOnlyLM(response_template=response_template, tokenizer=tokenizer)
args = TrainingArguments(
output_dir="./output_lora",
per_device_train_batch_size=2,
gradient_accumulation_steps=8, # 等效batch size = 16
num_train_epochs=3,
learning_rate=2e-4,
lr_scheduler_type="cosine",
warmup_ratio=0.03,
logging_steps=10,
save_strategy="epoch",
bf16=True,
gradient_checkpointing=True,
optim="adamw_torch",
report_to="none",
)
trainer = SFTTrainer(
model=model,
args=args,
train_dataset=dataset,
tokenizer=tokenizer,
data_collator=collator,
dataset_text_field="text",
max_seq_length=1024,
)
trainer.train()
trainer.model.save_pretrained("./output_lora/final_adapter")
几个参数的实际考量:
per_device_train_batch_size=2+gradient_accumulation_steps=8:24G卡上batch=2配合gradient checkpointing峰值约18G,再大就OOM。max_seq_length=1024:我们的数据95%在800 token以内,截断到1024够用,序列越长显存和时间的平方级代价越明显。learning_rate=2e-4:LoRA的常见起点,试过1e-4收敛偏慢,5e-4后期loss有抖动。
五、踩坑与优化
说几个真实踩过的坑:
坑1:loss不降反升。 第一次跑没加DataCollatorForCompletionOnlyLM,模型在学“复述问题”,loss看着在降但推理时答非所问。加上completion-only collator后loss曲线形态明显不同,最终效果也对了。
坑2:response_template对不上。 Qwen的template里assistant标记前后有特殊token,直接用"assistant\n"匹配不上,collator会静默失效(不报错,但全部算loss)。正确写法是带上``,可以先打印一条样本的decode结果确认。
坑3:gradient_checkpointing和LoRA的兼容。 老版本peft需要手动调model.enable_input_require_grads(),否则梯度断链,loss不动。0.12.0版本已处理,但如果你用更老的版本要注意。
坑4:显存碎片。 连续跑多次实验后OOM,加PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True解决。
优化方面:把target_modules从只覆盖attention扩到全部线性层,效果提升明显(测试集准确率+7个点),代价是trainable参数从约1600万涨到4000万,训练时间增加约30%,可以接受。
六、效果数据
Loss曲线:3个epoch,step约540。起始loss 1.82,第1个epoch末降到0.71,第2个epoch末0.43,第3个epoch末0.31,最后100步基本在0.28-0.33之间小幅波动,没有明显过拟合(我们在epoch 3结束就停了,试过跑5个epoch,验证loss在第4个epoch开始回升)。曲线整体是典型的“快速下降 → 平缓收敛”形态。
推理效果对比(50条测试集,人工判定):
| 指标 | 基座模型 | LoRA微调后 |
|---|---|---|
| 术语准确率 | 62% | 88% |
| 输出格式合规率 | 71% | 96% |
| 编造内部系统名次数 | 11次 | 2次 |
| 平均响应长度(token) | 187 | 142 |
举个具体例子。问“客户数据导出申请找谁审批”,基座模型回答“请联系IT部门或系统管理员”,完全没提内部流程;微调后回答“客户数据导出需在数据安全平台提交申请,审批人:数据Owner → 安全合规组,导出文件自动加水印”,流程和术语都对。
部署侧:adapter文件41MB,推理时加载基座+adapter,用vLLM的LoRA支持,吞吐相比纯基座下降不到5%,这个代价完全可以接受。
七、总结
这次微调整体投入约3天(数据2天,训练调试1天),效果符合预期。几点结论供参考:
- 数据质量 > 数据数量。我们最后只用了2860条,但每条都人工校验过术语和格式,比堆一万条脏数据有用。
- LoRA的target_modules值得调。全线性层覆盖是我们这次最值的一个改动。
- completion-only loss是必选项,指令微调场景下不加基本等于白训。
- QLoRA留给小显存,24G及以上跑bf16 LoRA更省心,速度也快。
- 评估一定要留独立测试集,别只看loss。
后续打算再试试把r降到8配合更多数据,以及对比一下DPO做偏好对齐的效果,有结果再写。