一、问题背景:为什么我要在24G卡上折腾LoRA
先说结论:不是所有微调都需要A100集群。我这次的需求很具体——给一个垂直领域的客服场景做模型适配。基座模型选的是Qwen2.5-7B-Instruct,原因是中文能力强、7B参数量在单卡上还能玩得动。
业务痛点有三个:第一,基座模型回答太"泛",经常给出正确但没用的废话;第二,输出格式不稳定,我们要求特定JSON结构,基座模型大概只有一半概率能对;第三,领域术语理解不到位,比如"工单挂起"和"工单关闭"它经常混淆。
全参数微调7B模型,FP16权重就要14GB,加上优化器状态和梯度,至少需要80GB以上显存,单卡4090直接出局。所以LoRA是唯一现实选择。QLoRA我也试了,后面会讲为什么最终没用4bit量化。
目标很明确:用LoRA让模型学会领域话术和输出格式,同时保持通用能力不崩。下面是我的完整记录。
二、环境与版本:别小看版本号
环境这块我踩过坑,先把确定能跑的版本列出来:
- GPU:RTX 4090 24GB(单卡)
- CUDA 12.1,驱动 535.104.05
- PyTorch 2.3.1 + cu121
- transformers 4.42.3
- peft 0.11.1
- trl 0.9.6
- bitsandbytes 0.43.1(QLoRA实验用)
- accelerate 0.31.0
- Python 3.10.14
重点提醒:peft 0.11.x 和 transformers 4.42.x 是经过验证的组合。我一开始用peft 0.10.0配transformers 4.43,加载LoRA时出现key不匹配的警告,虽然能跑但心里没底,后来统一降级才干净。另外trl的SFTTrainer在0.9.x版本对chat template的处理和0.8.x有差异,如果你照着老教程写会报错,注意dataset_text_field和formatting_func的用法变了。
三、方案设计:LoRA参数怎么定
先给结论性的配置:
- LoRA rank = 16,alpha = 32(即alpha=2*rank,缩放系数1.0的常见做法)
- target_modules:q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj(全线性层都挂上)
- dropout = 0.05
- 学习率 2e-4,cosine调度,warmup ratio 0.03
- batch size 4,梯度累积 8(等效batch 32)
- 3个epoch,max_seq_length 1024
- 优化器 adamw_torch,bf16混合精度
为什么rank选16而不是8或32?我做了个小对比:rank=8时验证loss降到0.85就平了,欠拟合;rank=32时验证loss 0.76,但训练时间增加约35%,且过拟合迹象更明显(第3个epoch train loss 0.62,val loss反升到0.81)。rank=16在效果和成本之间最平衡。
target_modules全挂是有意的。只挂q/v是省参数,但领域适配需要模型改变"表达习惯",MLP层参与度很高。实测全挂比只挂attention的验证loss低约0.09,训练时间只多20%左右,划算。
至于QLoRA:我试了4bit nf4量化加载,显存从18GB降到9GB左右,但训练速度慢了约40%(bitsandbytes的反量化开销),而且最终验证loss比bf16 LoRA高0.04左右。既然24G够用,我最终选了bf16 LoRA。如果你的卡是16G甚至12G,QLoRA是必要选项,配置我在代码注释里给了。
四、核心实现:数据准备到训练
4.1 数据准备
数据是自建的6800条客服对话,格式是messages数组(OpenAI风格)。清洗做了三件事:去掉长度超过1024 token的样本(约120条)、去掉answer为空或纯表情的(约40条)、对重复问题去重(约200条)。最终6620条,按9:1切分训练/验证。
数据格式长这样:
{
"messages": [
{"role": "system", "content": "你是XX公司的客服助手,回答需包含intent和reply字段的JSON。"},
{"role": "user", "content": "我的工单一直显示处理中,能帮我看看吗?"},
{"role": "assistant", "content": "{\"intent\": \"query_ticket_status\", \"reply\": \"您好,工单处理中通常需要1-2个工作日,我已为您标记加急,请留意短信通知。\"}"}
]
}
注意system prompt里明确要求JSON输出,这是格式合规率提升的关键——微调不是只教知识,更是教"说话方式"。
4.2 训练代码
完整可运行代码如下,我加了详细注释:
import torch
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTTrainer, SFTConfig
MODEL_PATH = "Qwen/Qwen2.5-7B-Instruct"
DATA_PATH = "./data/train.jsonl"
OUTPUT_DIR = "./output/lora-qwen2.5-7b"
# 1. 加载tokenizer
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = "right"
# 2. 加载模型(bf16 LoRA;若要QLoRA,取消下面bnb_config注释并传给model)
# bnb_config = BitsAndBytesConfig(
# load_in_4bit=True,
# bnb_4bit_quant_type="nf4",
# bnb_4bit_compute_dtype=torch.bfloat16,
# bnb_4bit_use_double_quant=True,
# )
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True,
# quantization_config=bnb_config, # QLoRA时启用
)
model.config.use_cache = False
# 3. LoRA配置
lora_config = LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj"],
bias="none",
task_type="CAUSAL_LM",
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出:trainable params: 40,370,176 || all params: 7,655,982,080 || trainable%: 0.5273
# 4. 数据格式化:把messages套用chat template
def format_sample(example):
text = tokenizer.apply_chat_template(
example["messages"], tokenize=False, add_generation_prompt=False
)
return {"text": text}
dataset = load_dataset("json", data_files=DATA_PATH, split="train")
dataset = dataset.map(format_sample, remove_columns=dataset.column_names)
split = dataset.train_test_split(test_size=0.1, seed=42)
# 5. 训练配置
sft_config = SFTConfig(
output_dir=OUTPUT_DIR,
num_train_epochs=3,
per_device_train_batch_size=4,
gradient_accumulation_steps=8,
learning_rate=2e-4,
lr_scheduler_type="cosine",
warmup_ratio=0.03,
logging_steps=10,
save_strategy="epoch",
eval_strategy="epoch",
bf16=True,
max_seq_length=1024, # trl 0.9.x 用 max_seq_length
dataset_text_field="text",
optim="adamw_torch",
report_to="none",
gradient_checkpointing=True,
)
trainer = SFTTrainer(
model=model,
args=sft_config,
train_dataset=split["train"],
eval_dataset=split["test"],
tokenizer=tokenizer,
)
trainer.train()
trainer.save_model(OUTPUT_DIR)
tokenizer.save_pretrained(OUTPUT_DIR)
4.3 推理代码
训练完用peft加载做对比推理:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
BASE = "Qwen/Qwen2.5-7B-Instruct"
ADAPTER = "./output/lora-qwen2.5-7b"
tokenizer = AutoTokenizer.from_pretrained(BASE, trust_remote_code=True)
base_model = AutoModelForCausalLM.from_pretrained(
BASE, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True
)
ft_model = PeftModel.from_pretrained(base_model, ADAPTER)
ft_model.eval()
system = "你是XX公司的客服助手,回答需包含intent和reply字段的JSON。"
question = "我的工单一直显示处理中,能帮我看看吗?"
messages = [{"role": "system", "content": system},
{"role": "user", "content": question}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(ft_model.device)
with torch.no_grad():
out = ft_model.generate(**inputs, max_new_tokens=256,
do_sample=False, temperature=None, top_p=None)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
五、踩坑与优化:几个真实的问题
坑1:loss不下降,卡在1.7左右。 排查发现是学习率给低了,我一开始用5e-5(全参微调的惯性思维),LoRA适配器参数少,需要更大学习率。调到2e-4后第一个epoch就明显下降。经验值:LoRA学习率一般在1e-4到3e-4之间。
坑2:显存OOM。 batch size 4 + seq 1024 + bf16,一开始没开gradient_checkpointing,显存峰值冲到23.5GB,偶尔OOM。开启梯度检查点后峰值降到18.2GB,训练速度慢约15%,但稳定了。另外use_cache=False必须设,否则和checkpointing冲突。
坑3:输出JSON带markdown代码块包裹。 微调后模型喜欢输出```json ... ```,因为训练数据里我没清理干净。重新清洗数据,assistant内容只保留纯JSON字符串,重训后这个问题消失。教训:数据质量决定输出格式,别指望模型"自己懂"。
坑4:验证loss和实际效果不完全同步。 第2个epoch val loss 0.78,第3个epoch 0.79略升,但人工评测第3个epoch的格式合规率反而更高(94% vs 91%)。说明loss不是唯一指标,早停策略要结合任务指标看。我最终保留了第3个epoch的权重。
优化点: 把max_seq_length从1024降到768后,训练吞吐提升约25%,因为大部分样本长度在500以内,padding浪费少了。但要注意评估集里有没有超长样本,我检查过最长是712,安全。
六、效果数据:loss曲线与推理对比
Loss曲线: 训练loss从初始1.82,第1个epoch末降到1.05,第2个epoch末0.79,第3个epoch末0.71。验证loss:0.92 → 0.79 → 0.78。曲线形态是典型的前快后缓,第2个epoch后基本收敛,第3个epoch训练loss还在降但验证loss走平,属于轻度过拟合边缘,可接受。
训练成本: 3个epoch共约4小时32分钟(含评估),单卡4090,功耗峰值约380W。可训练参数4037万,占总参数0.53%,adapter权重文件约77MB,部署时基座+adapter分离加载,非常轻。
推理对比(50条人工评测集,同一prompt):
| 指标 | 基座模型 | LoRA微调后 |
|---|---|---|
| 任务完成率 | 62% | 88% |
| JSON格式合规率 | 54% | 94% |
| 领域术语准确率 | 71% | 90% |
| 平均回答长度(token) | 118 | 86 |
一个具体例子。问:"工单挂起是什么意思?"基座模型回答了一大段工单生命周期管理的一般性解释,没直接答"挂起"。微调后输出:{"intent": "explain_term", "reply": "工单挂起指暂时停止处理该工单,通常用于等待用户补充信息,挂起期间不计入处理时效。"}——直接、准确、格式对。
副作用观察: 通用能力有轻微退化。我用10条通用知识问题测了下,基座答对8条,微调后答对7条,其中一条是常识问答回答变得过于简短。这是LoRA微调的常见trade-off,如果通用能力重要,建议混入5%-10%的通用数据做正则化,我下个版本会加。
七、总结
这次实践的核心结论:7B模型 + LoRA + 单卡24G,是完全可行的落地路径,成本可控(4.5小时训练)、部署轻量(77MB adapter)、效果提升明显(格式合规率+40个百分点)。几个关键决策点:rank选16、target_modules全挂、学习率2e-4、数据格式必须干净。QLoRA在显存够用时没必要上,速度和效果都有折损。
后续计划:混入通用数据缓解能力退化、尝试DoRA对比、把adapter和vLLM结合做线上推理压测。代码和数据清洗脚本我整理后会放出来,有问题评论区聊。
(全文完)