一、问题背景：为什么放弃全参微调
公司知识库问答项目需要把通用大模型调教成“业务专家”。最初尝试全参微调Baichuan2-7B，loss在2000步后开始震荡，而且单卡A100 80GB勉强跑通，但训练速度只有1.2 steps/s。更头疼的是，每次业务方改需求都要重新训练，成本和周期都扛不住。
后来调研发现LoRA（Low-Rank Adaptation）在冻结原模型参数的前提下，只训练增量矩阵，参数量通常只有原模型的0.1%~1%。QLoRA更进一步，把基座模型量化到4-bit，配合分页优化器，把微调门槛压到单张消费级显卡。我们最终选型：Baichuan2-7B-Chat（4-bit NF4量化）+ LoRA rank=64，在4090上跑通全流程。
二、环境与版本锁定
复现环境建议直接参考以下组合，版本号差一个都可能出兼容问题：
torch==2.1.2+cu118
transformers==4.37.2
peft==0.7.1
bitsandbytes==0.41.3
datasets==2.16.1
accelerate==0.26.1
硬件：单张RTX 4090 24GB。操作系统Ubuntu 22.04，驱动535.104.05。注意bitsandbytes在Windows下兼容性较差，建议直接用WSL2或Linux。
三、方案设计：数据清洗与训练配置
数据准备是最花时间的一环。 我们收集了公司内部约5万条“产品咨询-标准答案”对，但原始数据噪声很大。做了三步清洗：
- 去重：按query精确去重后剩4.1万条
- 过滤超长样本：超过2048 token的直接截断（因为Baichuan2最大长度4096，但显存有限，我们设max_length=1024）
- 构建SFT格式：必须使用Chat模型的对话模板，否则模型会学到错误的回复格式
最终数据样例：
{
"instruction": "客户问：你们支持7天无理由退货吗？",
"output": "您好，我们支持签收后7天内无理由退货，但需保证商品未拆封且不影响二次销售。"
}
LoRA配置参数：
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
lora_config = LoraConfig(
r=64,
lora_alpha=128,
target_modules=["W_pack", "o_proj", "gate_proj", "down_proj", "up_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
)
这里有个关键细节：W_pack必须包含，这是Baichuan2的QKV合并层，不拆开的话效果会打折扣。lora_alpha设为r的两倍（128），能加速收敛但会增加过拟合风险，我们配合了早停策略。
四、核心实现：QLoRA微调完整流程
加载4-bit量化模型并注入LoRA：
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig, TrainingArguments
from peft import prepare_model_for_kbit_training, get_peft_model
from trl import SFTTrainer
# 4-bit量化配置
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
bnb_4bit_compute_dtype=torch.bfloat16
)
model = AutoModelForCausalLM.from_pretrained(
"baichuan-inc/Baichuan2-7B-Chat",
quantization_config=bnb_config,
device_map="auto",
trust_remote_code=True
)
model.config.use_cache = False
model = prepare_model_for_kbit_training(model, use_gradient_checkpointing=True)
model = get_peft_model(model, lora_config)
tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan2-7B-Chat", trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token
# 训练参数
training_args = TrainingArguments(
output_dir="./baichuan2-lora-ckpt",
per_device_train_batch_size=4,
gradient_accumulation_steps=8,
num_train_epochs=3,
learning_rate=2e-4,
lr_scheduler_type="cosine",
warmup_ratio=0.03,
logging_steps=50,
save_steps=500,
eval_steps=500,
evaluation_strategy="steps",
fp16=True,
gradient_checkpointing=True,
dataloader_num_workers=4,
report_to="tensorboard",
remove_unused_columns=False,
max_seq_length=1024
)
trainer = SFTTrainer(
model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
tokenizer=tokenizer,
dataset_text_field="text",
max_seq_length=1024,
packing=False
)
trainer.train()
五、踩坑与优化：两个致命问题
坑1：embedding梯度爆炸
训练到第3000步时loss突然从1.2跳到3.8，检查发现Baichuan2的embedding层在4-bit量化下梯度不稳定。解决办法是冻结embedding和lm_head：
for param in model.base_model.model.model.embed_tokens.parameters():
param.requires_grad = False
for param in model.base_model.model.model.lm_head.parameters():
param.requires_grad = False
冻结后loss曲线明显平滑。代价是模型对全新词汇的适应能力下降，但我们的业务数据都是中文常用词，影响可忽略。
坑2：SFT数据格式导致生成崩坏
第一次训练完，模型生成的回答带着“\n\n### 用户：”这种模板残留。排查发现SFTTrainer默认使用dataset_text_field，而我直接把instruction和output拼接成普通字符串，没有走Chat模板。正确做法是构造对话格式：
def format_chat(example):
return {
"text": f"{example['instruction']}{example['output']}"
}
如果模型自带chat_template，更推荐用tokenizer.apply_chat_template处理。
六、效果数据：loss、显存与推理对比
训练曲线： 3万步总耗时7小时20分，最终eval loss稳定在0.87。前500步loss从2.1快速降到1.4，2000步后进入平台期，但每500步仍有小幅下降。用tensorboard监控到梯度范数在冻结embedding后从0.8降到0.2以下。
显存占用： 峰值15.7GB（batch_size=4 + 梯度累积8 + 最大长度1024），比预期还低一点。4090上实际吞吐4.7 steps/s，是A100全参微调的3.2倍。
推理效果对比（同一批50道业务测试题）：
| 模型 | 准确率 | 平均延迟/字 |
|---|---|---|
| 原版Baichuan2-7B-Chat | 41.2% | 28ms |
| QLoRA微调后 | 78.6% | 31ms |
| 全参微调（A100） | 81.3% | 30ms |
延迟增加主要来自LoRA分支的矩阵计算，但3ms的差距在交互场景完全无感。更关键的是，QLoRA模型在“退货政策”“保修条款”等垂直问题上的回答不再出现“根据我的知识截止日期……”这类拒答，而是直接给出业务标准答案。
七、总结与建议
LoRA/QLoRA不是万能药，但有明确的适用场景：数据量在万级以内、任务聚焦单一领域、硬件受限。如果你要微调的是多任务通用助手，建议还是全参微调。几个经验值供参考：
- rank值：不是越大越好，我们试过rank=128，loss更低但过拟合严重，验证集准确率反而下降3%。64是性价比平衡点。
- 学习率：2e-4太高，5e-5太低，建议用cosine调度+10% warmup。
- 数据质量>数据量：把5000条高质量专家数据清洗好，胜过5万条爬虫数据。
最后提醒一句：微调完的LoRA权重只有134MB，部署时用peft.save_pretrained保存增量权重，推理时加载基座模型+LoRA即可，千万别把合并后的全量模型存下来，8GB的模型文件没必要。
