一、问题背景:为什么我要在24G卡上折腾LoRA

先说结论:不是所有微调都需要A100集群。我这次的需求很具体——给一个垂直领域的客服场景做模型适配。基座模型选的是Qwen2.5-7B-Instruct,原因是中文能力强、7B参数量在单卡上还能玩得动。

业务痛点有三个:第一,基座模型回答太"泛",经常给出正确但没用的废话;第二,输出格式不稳定,我们要求特定JSON结构,基座模型大概只有一半概率能对;第三,领域术语理解不到位,比如"工单挂起"和"工单关闭"它经常混淆。

全参数微调7B模型,FP16权重就要14GB,加上优化器状态和梯度,至少需要80GB以上显存,单卡4090直接出局。所以LoRA是唯一现实选择。QLoRA我也试了,后面会讲为什么最终没用4bit量化。

目标很明确:用LoRA让模型学会领域话术和输出格式,同时保持通用能力不崩。下面是我的完整记录。

二、环境与版本:别小看版本号

环境这块我踩过坑,先把确定能跑的版本列出来:

  • GPU:RTX 4090 24GB(单卡)
  • CUDA 12.1,驱动 535.104.05
  • PyTorch 2.3.1 + cu121
  • transformers 4.42.3
  • peft 0.11.1
  • trl 0.9.6
  • bitsandbytes 0.43.1(QLoRA实验用)
  • accelerate 0.31.0
  • Python 3.10.14

重点提醒:peft 0.11.x 和 transformers 4.42.x 是经过验证的组合。我一开始用peft 0.10.0配transformers 4.43,加载LoRA时出现key不匹配的警告,虽然能跑但心里没底,后来统一降级才干净。另外trl的SFTTrainer在0.9.x版本对chat template的处理和0.8.x有差异,如果你照着老教程写会报错,注意dataset_text_field和formatting_func的用法变了。

三、方案设计:LoRA参数怎么定

先给结论性的配置:

  • LoRA rank = 16,alpha = 32(即alpha=2*rank,缩放系数1.0的常见做法)
  • target_modules:q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj(全线性层都挂上)
  • dropout = 0.05
  • 学习率 2e-4,cosine调度,warmup ratio 0.03
  • batch size 4,梯度累积 8(等效batch 32)
  • 3个epoch,max_seq_length 1024
  • 优化器 adamw_torch,bf16混合精度

为什么rank选16而不是8或32?我做了个小对比:rank=8时验证loss降到0.85就平了,欠拟合;rank=32时验证loss 0.76,但训练时间增加约35%,且过拟合迹象更明显(第3个epoch train loss 0.62,val loss反升到0.81)。rank=16在效果和成本之间最平衡。

target_modules全挂是有意的。只挂q/v是省参数,但领域适配需要模型改变"表达习惯",MLP层参与度很高。实测全挂比只挂attention的验证loss低约0.09,训练时间只多20%左右,划算。

至于QLoRA:我试了4bit nf4量化加载,显存从18GB降到9GB左右,但训练速度慢了约40%(bitsandbytes的反量化开销),而且最终验证loss比bf16 LoRA高0.04左右。既然24G够用,我最终选了bf16 LoRA。如果你的卡是16G甚至12G,QLoRA是必要选项,配置我在代码注释里给了。

四、核心实现:数据准备到训练

4.1 数据准备

数据是自建的6800条客服对话,格式是messages数组(OpenAI风格)。清洗做了三件事:去掉长度超过1024 token的样本(约120条)、去掉answer为空或纯表情的(约40条)、对重复问题去重(约200条)。最终6620条,按9:1切分训练/验证。

数据格式长这样:

{
  "messages": [
    {"role": "system", "content": "你是XX公司的客服助手,回答需包含intent和reply字段的JSON。"},
    {"role": "user", "content": "我的工单一直显示处理中,能帮我看看吗?"},
    {"role": "assistant", "content": "{\"intent\": \"query_ticket_status\", \"reply\": \"您好,工单处理中通常需要1-2个工作日,我已为您标记加急,请留意短信通知。\"}"}
  ]
}

注意system prompt里明确要求JSON输出,这是格式合规率提升的关键——微调不是只教知识,更是教"说话方式"。

4.2 训练代码

完整可运行代码如下,我加了详细注释:

import torch
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from trl import SFTTrainer, SFTConfig

MODEL_PATH = "Qwen/Qwen2.5-7B-Instruct"
DATA_PATH = "./data/train.jsonl"
OUTPUT_DIR = "./output/lora-qwen2.5-7b"

# 1. 加载tokenizer
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = "right"

# 2. 加载模型(bf16 LoRA;若要QLoRA,取消下面bnb_config注释并传给model)
# bnb_config = BitsAndBytesConfig(
#     load_in_4bit=True,
#     bnb_4bit_quant_type="nf4",
#     bnb_4bit_compute_dtype=torch.bfloat16,
#     bnb_4bit_use_double_quant=True,
# )
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
    # quantization_config=bnb_config,  # QLoRA时启用
)
model.config.use_cache = False

# 3. LoRA配置
lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                    "gate_proj", "up_proj", "down_proj"],
    bias="none",
    task_type="CAUSAL_LM",
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出:trainable params: 40,370,176 || all params: 7,655,982,080 || trainable%: 0.5273

# 4. 数据格式化:把messages套用chat template
def format_sample(example):
    text = tokenizer.apply_chat_template(
        example["messages"], tokenize=False, add_generation_prompt=False
    )
    return {"text": text}

dataset = load_dataset("json", data_files=DATA_PATH, split="train")
dataset = dataset.map(format_sample, remove_columns=dataset.column_names)
split = dataset.train_test_split(test_size=0.1, seed=42)

# 5. 训练配置
sft_config = SFTConfig(
    output_dir=OUTPUT_DIR,
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=8,
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.03,
    logging_steps=10,
    save_strategy="epoch",
    eval_strategy="epoch",
    bf16=True,
    max_seq_length=1024,      # trl 0.9.x 用 max_seq_length
    dataset_text_field="text",
    optim="adamw_torch",
    report_to="none",
    gradient_checkpointing=True,
)

trainer = SFTTrainer(
    model=model,
    args=sft_config,
    train_dataset=split["train"],
    eval_dataset=split["test"],
    tokenizer=tokenizer,
)

trainer.train()
trainer.save_model(OUTPUT_DIR)
tokenizer.save_pretrained(OUTPUT_DIR)

4.3 推理代码

训练完用peft加载做对比推理:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

BASE = "Qwen/Qwen2.5-7B-Instruct"
ADAPTER = "./output/lora-qwen2.5-7b"

tokenizer = AutoTokenizer.from_pretrained(BASE, trust_remote_code=True)
base_model = AutoModelForCausalLM.from_pretrained(
    BASE, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True
)
ft_model = PeftModel.from_pretrained(base_model, ADAPTER)
ft_model.eval()

system = "你是XX公司的客服助手,回答需包含intent和reply字段的JSON。"
question = "我的工单一直显示处理中,能帮我看看吗?"
messages = [{"role": "system", "content": system},
            {"role": "user", "content": question}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(ft_model.device)

with torch.no_grad():
    out = ft_model.generate(**inputs, max_new_tokens=256,
                            do_sample=False, temperature=None, top_p=None)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

五、踩坑与优化:几个真实的问题

坑1:loss不下降,卡在1.7左右。 排查发现是学习率给低了,我一开始用5e-5(全参微调的惯性思维),LoRA适配器参数少,需要更大学习率。调到2e-4后第一个epoch就明显下降。经验值:LoRA学习率一般在1e-4到3e-4之间。

坑2:显存OOM。 batch size 4 + seq 1024 + bf16,一开始没开gradient_checkpointing,显存峰值冲到23.5GB,偶尔OOM。开启梯度检查点后峰值降到18.2GB,训练速度慢约15%,但稳定了。另外use_cache=False必须设,否则和checkpointing冲突。

坑3:输出JSON带markdown代码块包裹。 微调后模型喜欢输出```json ... ```,因为训练数据里我没清理干净。重新清洗数据,assistant内容只保留纯JSON字符串,重训后这个问题消失。教训:数据质量决定输出格式,别指望模型"自己懂"。

坑4:验证loss和实际效果不完全同步。 第2个epoch val loss 0.78,第3个epoch 0.79略升,但人工评测第3个epoch的格式合规率反而更高(94% vs 91%)。说明loss不是唯一指标,早停策略要结合任务指标看。我最终保留了第3个epoch的权重。

优化点: 把max_seq_length从1024降到768后,训练吞吐提升约25%,因为大部分样本长度在500以内,padding浪费少了。但要注意评估集里有没有超长样本,我检查过最长是712,安全。

六、效果数据:loss曲线与推理对比

Loss曲线: 训练loss从初始1.82,第1个epoch末降到1.05,第2个epoch末0.79,第3个epoch末0.71。验证loss:0.92 → 0.79 → 0.78。曲线形态是典型的前快后缓,第2个epoch后基本收敛,第3个epoch训练loss还在降但验证loss走平,属于轻度过拟合边缘,可接受。

训练成本: 3个epoch共约4小时32分钟(含评估),单卡4090,功耗峰值约380W。可训练参数4037万,占总参数0.53%,adapter权重文件约77MB,部署时基座+adapter分离加载,非常轻。

推理对比(50条人工评测集,同一prompt):

指标 基座模型 LoRA微调后
任务完成率 62% 88%
JSON格式合规率 54% 94%
领域术语准确率 71% 90%
平均回答长度(token) 118 86

一个具体例子。问:"工单挂起是什么意思?"基座模型回答了一大段工单生命周期管理的一般性解释,没直接答"挂起"。微调后输出:{"intent": "explain_term", "reply": "工单挂起指暂时停止处理该工单,通常用于等待用户补充信息,挂起期间不计入处理时效。"}——直接、准确、格式对。

副作用观察: 通用能力有轻微退化。我用10条通用知识问题测了下,基座答对8条,微调后答对7条,其中一条是常识问答回答变得过于简短。这是LoRA微调的常见trade-off,如果通用能力重要,建议混入5%-10%的通用数据做正则化,我下个版本会加。

七、总结

这次实践的核心结论:7B模型 + LoRA + 单卡24G,是完全可行的落地路径,成本可控(4.5小时训练)、部署轻量(77MB adapter)、效果提升明显(格式合规率+40个百分点)。几个关键决策点:rank选16、target_modules全挂、学习率2e-4、数据格式必须干净。QLoRA在显存够用时没必要上,速度和效果都有折损。

后续计划:混入通用数据缓解能力退化、尝试DoRA对比、把adapter和vLLM结合做线上推理压测。代码和数据清洗脚本我整理后会放出来,有问题评论区聊。

(全文完)