1. 问题背景：为什么我要放弃全量微调

上周接到一个任务：把基座模型在金融QA语料上做领域适配。模型是中文LLaMA-7B（基于LLaMA-7B的中文扩充词表版本）。一开始我直接上全量微调，用了DeepSpeed ZeRO-3 + 8卡A100，勉强跑起来。但问题很明显：

  • 单卡显存需求>80G，没有A100集群的公司根本没法搞
  • 全量微调需要更新7B参数，训练时间长，且容易灾难性遗忘
  • 每次实验迭代成本太高，调个学习率都要等半天

后来尝试LoRA（Low-Rank Adaptation），发现只需要冻结原模型，只训练两个低秩矩阵（rank=8时参数量仅4.2M，占总参数0.06%）。但标准LoRA在7B上仍需要约48G显存（因为要存储中间激活值）。直到用了QLoRA（量化版LoRA），把基座模型量化到4-bit NF4格式，配合Paged Optimizer和梯度检查点，显存直接砍到21.8G——一张消费级显卡就能跑。

2. 环境与版本：踩过的版本坑

# 我的环境配置（2024年1月实测稳定）
torch==2.1.2+cu118
transformers==4.36.2
peft==0.7.1
bitsandbytes==0.41.3
datasets==2.16.1
accelerate==0.25.0

关键版本说明：bitsandbytes必须用0.41.3以上，否则NF4量化在CUDA 11.8下会报CUDA error: no kernel image available。transformers 4.36之后才支持load_in_4bit与device_map="auto"的稳定组合。另外，如果你用3090（Ampere架构），记得在启动脚本加export NCCL_P2P_DISABLE=1，否则多卡时会卡死。

3. 方案设计：LoRA rank/lora_alpha怎么选

我对比了rank=4/8/16三组，最终选了rank=8，alpha=16。原因：

  • rank=4时模型表达能力不足，loss在1.2左右就下不去了
  • rank=16显存多占1.5G，但loss只比rank=8低0.03，性价比不高
  • 学习率用1e-4（比全量微调的1e-5高一个数量级，因为只训练少量参数）

目标模块：q_proj, v_proj, k_proj, o_proj（注意：LoRA论文说只训q和v，但实测把四个投影都加上，C-Eval提升更明显，尤其是数学推理类题目）。

4. 核心实现：数据准备与训练代码

数据准备：金融QA数据集，约12万条。我做了两步清洗：去除HTML标签和重复问题（用MinHash去重，相似度>0.85只保留一条）。最终保留10.8万条，按8:1:1切分训练/验证/测试。

# 数据预处理：把QA对转成LLaMA格式
def format_qa(example):
    return {
        "text": f"用户：{example['question']}\n助手：{example['answer']}"
    }

raw_dataset = load_dataset("json", data_files="finance_qa.jsonl")
formatted = raw_dataset.map(format_qa, remove_columns=["question", "answer"])

# 关键：必须用tokenizer的apply_chat_template（如果支持），或者手动加BOS/EOS
tokenized = formatted.map(
    lambda x: tokenizer(
        x["text"],
        truncation=True,
        max_length=1024,
        padding="max_length",
    ),
    batched=True,
    remove_columns=["text"],
)

训练配置（重点看量化参数）：

from transformers import BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training

# NF4量化配置——QLoRA的核心
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,      # 双重量化，节省0.5G显存
    bnb_4bit_quant_type="nf4",            # NF4比FP4精度更高
    bnb_4bit_compute_dtype=torch.bfloat16 # 计算用BF16，避免精度损失
)

model = AutoModelForCausalLM.from_pretrained(
    "chinese-llama-7b",
    quantization_config=bnb_config,
    device_map="auto",
    trust_remote_code=True,
)
model = prepare_model_for_kbit_training(model)  # 冻结原参数+开启梯度检查点

lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
)
model = get_peft_model(model, lora_config)

# 训练参数
training_args = TrainingArguments(
    output_dir="./qlora-7b-finance",
    per_device_train_batch_size=4,   # 3090 24G下实测安全值
    gradient_accumulation_steps=8,    # 等效batch=32
    learning_rate=1e-4,
    num_train_epochs=3,
    logging_steps=50,
    save_steps=500,
    fp16=True,                        # 比bf16快，但3090上bf16更稳
    gradient_checkpointing=True,      # 关键：显存减半
    optim="paged_adamw_8bit",         # Paged Optimizer，QLoRA论文中的技巧
)

5. 踩坑与优化：三个让我失眠的夜晚

坑1：NF4量化后loss震荡严重
第一次跑，loss在0.8附近疯狂震荡（标准差0.15），生成结果出现重复字符。排查后发现是bnb_4bit_compute_dtype设成了fp16。3090的fp16有精度截断问题，改成bfloat16后loss曲线立刻平滑。结论：量化模型下，计算精度必须≥存储精度。

坑2：梯度检查点导致速度骤降
开启gradient_checkpointing后，训练速度从0.8s/step降到1.5s/step。优化方案：把per_device_train_batch_size从2提到4（因为显存省下来了），并在TrainingArguments中设置gradient_checkpointing_kwargs={"use_reentrant": False}，这个参数在transformers 4.36后必须显式指定，否则报错。

坑3：中文词表重复token问题
Chinese-LLaMA扩展了词表到49953，但LoRA的target_modules一开始漏了lm_head。导致生成时中文词汇贫乏。加上lm_head后（虽然参数稍多），生成多样性明显改善。

最终训练曲线（我记录的典型数值）：
- 初始loss：1.87（第1步）
- 500步后：0.72（验证集困惑度从基线8.3降到3.1）
- 1500步后：0.48（开始收敛，但出现过拟合迹象，测试集BLEU-4在1200步达到峰值28.4）
- 最终epoch 3结束：训练loss 0.41，验证loss 0.55（轻微过拟合，但我用early stopping截断在1800步）

6. 推理效果对比：微调前后差距有多大

我在测试集（保留的5000条QA对）上对比了基座模型和QLoRA微调后的模型：

指标 基座LLaMA-7B QLoRA微调后 提升幅度
C-Eval (5-shot) 39.8 52.6 +12.8
金融术语准确率 41.2% 78.5% +37.3%
回答长度（字符） 48 156 +225%
事实性错误率 23% 11% -12%

定性对比（用户问："什么是可转换债券的套利策略？"）
- 基座模型输出："可转换债券是一种债券，可以转换。套利策略是低买高卖。"（空洞且不完整）
- QLoRA微调后输出："可转换债券套利的核心是捕捉转债价格与转股价值之间的偏差。常见策略包括：1）折价转股套利——当转债价格低于转股价值时，买入转债并转股卖出正股；2）溢价卖出套利——当转债价格高于转股价值时，买入正股并融券卖出转债。需注意转股期限制和流动性风险。"（有结构、有要点、有风险提示）

7. 总结与建议

QLoRA不是银弹，它有三个明显代价：训练时间比全量微调慢约30%（因为4-bit反量化开销）、收敛速度慢（需要更多step）、batch size受限于量化层的计算图。但如果你像我一样只有单张3090，QLoRA是性价比最高的方案——用24G显存达到了接近全量微调80%的效果（以C-Eval为基准）。

最后给三个实操建议：
1. 不要用默认的transformers.Trainer直接跑QLoRA，一定要用peft的prepare_model_for_kbit_training，否则梯度会传到量化参数上导致崩溃。
2. 监控训练过程中的model.get_nb_trainable_parameters()，如果可训练参数超过5M，说明你的LoRA配置太重了，会失去低秩约束的意义。
3. 推理时记得合并权重：model = model.merge_and_unload()，否则部署时还需要加载PEFT适配器，增加了复杂性。

如果你也想复现，我的代码和配置都在GitHub（链接见评论区），有问题可以留言交流。下次准备试一下在7B上做多任务LoRA（用AdaLoRA），到时候再来分享。