1. 问题背景：为什么通用7B模型在垂直领域“翻车”

上周产品经理丢给我一个需求：做一个中医方剂问答助手，模型要能准确说出“四物汤”的组成和加减法。我第一反应是直接用Qwen2-7B-Instruct看效果，结果发现一个尴尬现象——模型能流畅背诵《本草纲目》段落，但问“血虚头痛用什么方”时，它给我编了个“四君子汤加川芎”，而正确答案是“四物汤加蔓荆子”。

用50道专业题测试，准确率只有52.3%，接近随机水平。通用大模型在专业术语、隐含逻辑（如“气虚→补中益气汤→但若兼血虚则需加四物”）上明显力不从心。全量微调7B参数需要至少4张A100跑一整天，而我只拿到一张RTX 3090，时间窗口是半天。

所以我选择了LoRA（Low-Rank Adaptation）——冻结原模型，只训练注入的低秩矩阵。理论上参数量减少99%以上，显存占用从全量微调的70G降到18G，压缩到大约四分之一。本次实验统一使用QLoRA（4-bit NormalFloat量化）进一步压到11G显存，留出空间给更大的batch。

2. 环境与版本：一张3090的极限配置

硬件：单卡RTX 3090（24G显存），CPU为i9-12900K，内存64G。

软件版本（踩坑后锁定的组合）：

  • Python 3.10.12
  • transformers 4.40.2（注意：4.41.0后peft有breaking change，导致加载报错）
  • peft 0.10.0
  • bitsandbytes 0.43.1
  • accelerate 0.29.3
  • torch 2.2.2+cu121

关键配置：4-bit量化用nf4格式，compute_dtype=torch.float16。这里注意一个坑——如果compute_dtype用bfloat16，在3090上会导致loss直接变NaN，因为Ampere架构对bf16的数值稳定性支持不佳。

3. 方案设计：LoRA注入哪个模块、rank选多少

3.1 数据准备：清洗掉“标签污染”的坏数据

我从公开中医题库抓了20000条问答对，但清洗后发现一个大坑：约30%的答案直接包含原题关键词。比如题目问“下列哪项是四物汤的组成？”，答案直接写“四物汤由当归、川芎...”，这属于“标签泄露”——模型不需要理解药理，只要看到题干词就能猜答案。

清洗策略：
1. 用正则剔除答案中与题干重复超过5个字符的样本。
2. 人工标注500条最难样本，模型在训练前测试准确率仅28%，作为评测基准。

最终保留12000条训练数据，格式为：

{"instruction": "患者，女，35岁。月经量少，色淡，头晕目眩，舌淡脉细。拟用何方？", "output": "四物汤加减。方中熟地滋阴补血，当归补血活血..."}

3.2 训练配置：rank=8还是rank=16？

我用消融实验对比了rank=8、16、32的效果，结论是rank=8就够。因为中医问答本质是“映射输入模式到固定输出结构”，不需要学习全新知识，低秩足够。rank=16虽然训练Loss更低，但在测试集上过拟合严重（准确率下降5%）。

核心配置：

from peft import LoraConfig, get_peft_model, TaskType
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

# 4-bit量化配置
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16
)

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2-7B-Instruct",
    quantization_config=bnb_config,
    device_map="auto",
    trust_remote_code=True
)

# LoRA注入q_proj, v_proj（实验显示加k_proj反而有害）
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,
    lora_alpha=32,  # 关键调参：alpha/r=4时效果最好
    lora_dropout=0.1,  # 原0.05导致loss震荡
    target_modules=["q_proj", "v_proj"],
    bias="none"
)

model = get_peft_model(model, lora_config)
print(f"可训练参数量: {model.num_parameters(only_trainable=True)}")
# 输出: 可训练参数量: 4194304 (约4.2M，原模型的0.06%)

4. 核心实现：从loss曲线到参数调整

训练参数：per_device_train_batch_size=4，gradient_accumulation_steps=8，learning_rate=2e-4（使用cosine衰减），num_train_epochs=3，warmup_ratio=0.1。

前2000步loss稳定下降（从2.4降到1.1），但随后出现异常：

Step 2100 | Loss: 1.05
Step 2200 | Loss: 1.87   ← 突然飙升
Step 2300 | Loss: 0.98
Step 2400 | Loss: 2.12   ← 再次飙升

排查过程：首先怀疑是学习率过大。但调低到1e-4后震荡依旧。然后查看数据——发现震荡步长与数据加载顺序有关。用dataset.shuffle()后依然存在。最后定位到是Qwen2的Positional Encoding问题：当输入序列长度超过2048时，RoPE外推导致loss异常。但我的数据平均长度只有800 token，不可能触发。

最终发现真凶是lora_dropout=0.05时，dropout噪声在低秩空间被放大。将lora_dropout调高到0.1后，震荡消失（见下图）。这个经验在PEFT库的issue区有类似报告。

调整后训练Loss曲线：

Step 2000 | Loss: 0.82
Step 4000 | Loss: 0.61
Step 6000 | Loss: 0.48
Step 8000 | Loss: 0.41

5. 推理效果对比：从“一本正经胡说”到“精准指路”

微调后，用同样50道题测试，正确率从52.3%提升到72.1%。对比实际回答：

用户提问：“患者，男，50岁，心前区刺痛，舌紫暗，有瘀斑，脉涩。如何辨证论治？”

  • 基线模型（Qwen2-7B-Instruct）：“考虑气滞血瘀，建议服用血府逐瘀汤。但中医讲究整体观念，建议结合患者体质加减。”（答案基本正确但无细节）
  • LoRA微调后：“辨证为心血瘀阻证。治法：活血化瘀，通脉止痛。方用血府逐瘀汤加减：桃仁12g、红花9g、当归9g... 若兼气虚，加黄芪30g、党参15g；若疼痛剧烈，加乳香6g、没药6g。”

微调模型不仅答对了方剂，还能给出用药剂量和随证加减——这部分正是训练集中医案中的核心知识。推理速度方面，模型量化后生成速度约34 tokens/s（A100上基线为40 tokens/s），仅损失15%速度换取专业能力提升20个百分点，我认为完全值得。

6. 踩坑与优化清单

  1. QLoRA双重量化必须开：bnb_4bit_use_double_quant=True，否则显存多占3G，且训练速度下降10%。
  2. target_modules不要盲目加k_proj：加了之后在验证集上BLEU下降1.8，因为K矩阵的语义空间与V不同，强行低秩约束反而干扰。
  3. 保存模型时注意：用model.merge_and_unload()再保存，否则下次加载需要重新合并LoRA权重，容易踩PEFT版本坑。
  4. 推理时不需要torch.inference_mode()：QLoRA模型在torch.no_grad()下可能报错，直接正常调用即可。

7. 总结：LoRA不是银弹，但够用

本次实践结论：LoRA在资源受限情况下，能有效提升7B模型的垂直领域能力，但前提是数据质量足够高（标签污染清洗）、超参数配合得当。我踩的坑——dropout震荡、bf16不兼容——在官方文档中都没有提及，需要开发者自己通过loss曲线诊断。

后续优化方向：考虑尝试rsLoRA（rank-stabilized LoRA）解决高rank不稳定问题，或者用NEFTune加噪声提升泛化。如果有两张卡，我会试试ZeRO-3 + LoRA把batch size翻倍。

最后留个问题给读者：你们在微调时遇到的最诡异的loss曲线是什么样的？欢迎评论区交流。