一、问题背景:为什么我要在24GB卡上折腾7B
事情起因很朴素:我们有个内部工单系统,想让模型按固定格式输出处理建议,包括“问题归类 / 责任模块 / 建议动作”三段。直接拿Qwen2.5-7B-Instruct做few-shot提示,效果能用但不够稳——格式偶尔跑偏,长尾类目识别率低,而且每次请求都要塞近800 token的示例,成本和延迟都不划算。
于是决定做一次轻量微调。约束条件很现实:只有一张RTX 4090(24GB),没有A100/H100,团队也没有多卡环境。7B模型全参微调在bf16下光权重就要约14GB,加上优化器状态和梯度,24GB根本不够,所以LoRA是唯一合理选择;如果LoRA也吃紧,就退到QLoRA。
这篇文章不吹方法论,只讲我实际跑通的那一套:数据怎么造、参数怎么定、loss怎么读、推理怎么比。
二、环境与版本:先把版本钉死
微调这事最怕版本漂移。我最终稳定运行的组合如下:
- GPU:RTX 4090 24GB,驱动 550.54.14,CUDA 12.1
- Python 3.10.13
- torch 2.3.1+cu121
- transformers 4.42.4
- peft 0.12.0
- trl 0.9.6
- bitsandbytes 0.43.1
- accelerate 0.31.0
- datasets 2.20.0
模型用的是 Qwen/Qwen2.5-7B-Instruct。选它是因为中文指令遵循基础不错,且社区对它的chat template支持成熟,tokenizer.apply_chat_template 直接可用,省掉自己拼prompt的麻烦。
有一点要提醒:trl 0.9.x 的 SFTTrainer 和 0.8 之前的参数名有差异(比如 max_seq_length 仍在,但 dataset_text_field 行为有调整),网上很多老教程直接抄会报错,建议按自己装的版本查文档。
三、方案设计:LoRA打底,QLoRA做对照
整体思路是“一套数据、两套配置、同一评测”。
数据格式:统一转成 messages 结构(system/user/assistant),训练时用chat template渲染,只对assistant部分计算loss。这一点很关键——如果对system和user也算loss,模型会去学“怎么提问”,白白浪费容量,还会让loss曲线看起来虚低。
LoRA配置:r=16, lora_alpha=32, lora_dropout=0.05,target_modules 覆盖 q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj。只挂 attention 的 q/v 是省显存,但对这种“格式+分类”任务,MLP层也参与能明显提升稳定性,我实测挂全比只挂q/v在验证集上loss低约0.06。
QLoRA配置:在LoRA基础上加 load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True,并开启 prepare_model_for_kbit_training。
训练超参:3 epoch,batch_size=2,gradient_accumulation_steps=8(等效batch 16),lr=2e-4,cosine schedule,warmup_ratio=0.03,max_seq_length=1024,bf16=True,gradient_checkpointing=True。这些数字不是拍脑袋,后面“踩坑”一节会说为什么是这几个。
四、核心实现:数据准备与训练代码
4.1 数据构造
原始数据来自工单历史,清洗后得到约3200条。我按 8:1:1 划分 train/val/test,并做了一个“防泄漏”检查:同一工单的多轮追问只保留最终成对样本,避免训练集和验证集出现近似重复。
下面是把 JSONL 转成训练集的代码,含chat template渲染和长度统计:
import json
from datasets import Dataset
from transformers import AutoTokenizer
MODEL_PATH = "Qwen/Qwen2.5-7B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
def load_jsonl(path):
rows = []
with open(path, "r", encoding="utf-8") as f:
for line in f:
obj = json.loads(line)
rows.append({
"messages": [
{"role": "system", "content": obj["system"]},
{"role": "user", "content": obj["instruction"]},
{"role": "assistant", "content": obj["output"]},
]
})
return rows
train_rows = load_jsonl("data/train.jsonl")
val_rows = load_jsonl("data/val.jsonl")
def to_text(example):
# 只保留assistant段参与loss:这里先生成完整文本,训练时用DataCollator的mask策略
text = tokenizer.apply_chat_template(
example["messages"], tokenize=False, add_generation_prompt=False
)
return {"text": text}
train_ds = Dataset.from_list(train_rows).map(to_text, remove_columns=["messages"])
val_ds = Dataset.from_list(val_rows).map(to_text, remove_columns=["messages"])
# 长度分布检查,决定max_seq_length
import numpy as np
lens = [len(tokenizer(t).input_ids) for t in train_ds["text"][:500]]
print("p50/p90/p99:", np.percentile(lens, [50, 90, 99]))
# 实测输出 p50=412, p90=780, p99=968 -> max_seq_length取1024合理
4.2 LoRA训练脚本
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTTrainer, SFTConfig
MODEL_PATH = "Qwen/Qwen2.5-7B-Instruct"
USE_QLORA = False # 切True即走QLoRA
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token
bnb_config = None
if USE_QLORA:
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_use_double_quant=True,
)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
torch_dtype=torch.bfloat16,
device_map="auto",
quantization_config=bnb_config,
trust_remote_code=True,
)
model.config.use_cache = False
if USE_QLORA:
model = prepare_model_for_kbit_training(model)
lora_config = LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
target_modules=["q_proj","k_proj","v_proj","o_proj",
"gate_proj","up_proj","down_proj"],
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出约 trainable params: 20,185,088 || all params: 7,635,289,088 || 0.264%
training_args = SFTConfig(
output_dir="out/qwen7b-lora",
num_train_epochs=3,
per_device_train_batch_size=2,
gradient_accumulation_steps=8,
learning_rate=2e-4,
lr_scheduler_type="cosine",
warmup_ratio=0.03,
logging_steps=10,
eval_strategy="steps",
eval_steps=100,
save_strategy="steps",
save_steps=200,
save_total_limit=2,
bf16=True,
gradient_checkpointing=True,
max_seq_length=1024,
dataset_text_field="text",
packing=False,
report_to="none",
)
trainer = SFTTrainer(
model=model,
args=training_args,
train_dataset=train_ds,
eval_dataset=val_ds,
tokenizer=tokenizer,
)
trainer.train()
trainer.save_model("out/qwen7b-lora/final")
注意 packing=False。我一开始开了packing想提吞吐,结果验证loss曲线抖动明显变大——因为不同样本被拼进同一条序列后,attention边界处理不当会引入噪声,对这种格式强约束任务不划算,关掉后曲线平滑很多。
五、踩坑与优化:几个真实卡住我的点
坑1:OOM不是显存不够,是gradient_checkpointing没配好。 第一次跑LoRA,batch_size=4直接OOM。降到2后能跑,但峰值19.2GB,余量很小。后来确认 model.config.use_cache=False 必须和gradient_checkpointing同时开,否则checkpointing不生效,白占显存。
坑2:QLoRA下prepare_model_for_kbit_training漏调用。 漏了这一步,embedding层和layernorm会被当普通参数训练,显存反而涨,而且容易nan。补上后QLoRA峰值从13GB+降到11.6GB。
坑3:学习率2e-4对LoRA合适,对全参就偏大。 我试过5e-4,前200步loss掉得快,但600步后开始反弹,验证loss从0.55回升到0.63,典型过拟合。最终2e-4 + cosine + warmup 3% 是最稳的组合。
坑4:验证集loss和生成质量不完全一致。 中间有一次val loss 0.49,但推理时格式仍偶发跑偏。原因是teacher forcing下模型“续写正确前缀”容易,自回归生成时错误会累积。所以最终评测我坚持做人工抽样,而不是只看loss。
优化项:把 eval_steps 从200调到100,能更早发现过拟合拐点;save_total_limit=2 防止磁盘被checkpoint吃满(7B的LoRA adapter每个约80MB,加上optimizer状态并不小)。
六、效果数据:loss曲线与推理对比
Loss曲线(LoRA,bf16):
- 起始train loss:1.36(step 10)
- step 300:train 0.71 / val 0.842
- step 600:train 0.55 / val 0.596
- step 900(约3 epoch末):train 0.48 / val 0.517
曲线形态是典型的“先陡降后平台”,val loss在step 800后基本走平,没有明显上翘,说明3 epoch没有过拟合。QLoRA版本曲线形状几乎一致,但整体高约0.03~0.05(量化误差导致),最终val loss 0.561,可接受。
资源与耗时:
| 配置 | 峰值显存 | 3 epoch耗时 | 最终val loss |
|---|---|---|---|
| LoRA (bf16) | 19.2 GB | 2h10m | 0.517 |
| QLoRA (NF4) | 11.6 GB | 3h05m | 0.561 |
QLoRA慢约42%,主要是4bit反量化开销;但换来近8GB显存余量,如果你要在24GB卡上开更大batch或更长序列,QLoRA更从容。
推理效果对比(test集200条,人工双盲评):
- 格式完全遵循率:基线71% → LoRA 89% → QLoRA 86%
- 类目识别准确率:基线78% → LoRA 91% → QLoRA 90%
- 平均输出长度:基线186 token → 微调后142 token(更简洁,符合预期)
一个具体例子:用户输入“登录后页面一直转圈,换了浏览器也不行”。基线模型会先复述问题再给建议,偶尔漏掉“责任模块”;微调后稳定输出“问题归类:前端鉴权/会话异常;责任模块:Web前端;建议动作:检查token刷新逻辑并引导用户清理localStorage”。格式和字段都齐了。
七、总结
这次实践最值得说的不是某个参数,而是三条经验:第一,数据格式和loss mask比调参更影响最终效果,system/user段千万别算loss;第二,24GB卡上LoRA完全够用,QLoRA是“显存换时间”的备选,不是必需;第三,别迷信val loss,格式类任务一定要做生成侧的人工抽样。
如果重来一次,我会把数据量从3200扩到5000左右再试一轮,因为从loss曲线看模型还没完全吃透长尾类目。另外下次会加上eval_on_start和更细的step级记录,方便定位过拟合起点。代码和配置都在上面,版本号也钉死了,照着跑应该能复现。