一、为什么要折腾LoRA：全参微调在7B模型上的现实困境
我手头有一个医疗领域的问答任务，需要让模型理解“高血压患者能否服用布洛芬”这类专业问题。用Llama-2-7B直接做zero-shot，效果惨不忍睹，回答经常是“我不是医生，请咨询专业人士”这种安全话术。想要好效果就得微调，但全参微调7B模型需要多大的显存？以AdamW优化器为例，模型参数14GB（fp16），梯度14GB，优化器状态（fp32的momentum和variance）28GB，光这三项就56GB，还没算激活值和中间变量。单卡根本跑不动，多卡又得考虑通信开销。
有同学会说用ZeRO Stage 3或者DeepSpeed，但配置起来麻烦，而且对小团队来说，租一张A100每小时几十块的成本并不低。LoRA的思路是冻结原模型，只训练低秩分解的适配器矩阵，可训练参数量直接降到0.1%以下。我实际测试下来，Llama-2-7B用LoRA训练，可训练参数只有4.2M，占总量0.06%，显存占用从56GB降到14GB左右，一张3090勉强能跑。QLoRA更进一步，把基座模型量化为4-bit NF4格式，显存直接砍半。
二、环境与版本：Python 3.10 + PyTorch 2.1.2 + bitsandbytes 0.43.0
先交代我的实验环境，这些版本号都是踩过坑才定下来的：
Python 3.10.13
PyTorch 2.1.2+cu118
transformers 4.38.2
peft 0.9.0
bitsandbytes 0.43.0
datasets 2.16.1
accelerate 0.27.2
特别提醒，bitsandbytes 0.43.0这个版本很重要。我之前用0.41.0，在3090上跑4-bit量化时经常报CUDA error: no kernel image available，换了0.43.0才解决。另外，PyTorch 2.1.2的torch.compile在这个场景下反而会拖慢速度，因为动态shape会触发重新编译，建议关掉。
三、数据准备：医疗QA指令数据的清洗与格式化
我的数据来源是公开的CMRC2018医疗问答数据集，加上自己爬的3000条药品说明书问答，总共12000条。原始数据长这样：
{
"question": "高血压患者能否服用布洛芬？",
"context": "布洛芬属于非甾体抗炎药...",
"answer": "高血压患者应慎用布洛芬，因可能引起水钠潴留..."
}
需要转成指令微调格式。我用的模板和Alpaca一致，但加了角色区分：
def format_medical_qa(example):
prompt = f"用户：{example['question']}\n\n医生："
full_text = prompt + example['answer'] + "\n"
return {
"text": full_text,
"prompt": prompt,
"answer": example['answer']
}
训练时只对full_text做tokenize，但loss要mask掉prompt部分。这里有个细节：如果你的数据里有很长的context（比如药品说明书），建议先按长度过滤，超过2048的截断或丢弃。我的数据里最长的一条context有3000多字，直接截断会导致答案不完整，后来按长度分桶，短的用2048，长的用4096，但这样batch里padding很严重，浪费显存。最终方案是统一截断到2048，如果答案被截断就丢弃这条数据，大概损失了5%的数据量，但训练效率提升了。
四、核心实现：QLoRA配置与训练代码
这是最关键的部分。QLoRA的核心是4-bit NF4量化 + 双重量化 + paged optimizers。我用BitsAndBytesConfig配置量化参数，然后用get_peft_model包装成LoRA模型。注意一个坑：bnb_4bit_compute_dtype要设为torch.float16，否则在3090上会退化到fp32，显存直接爆掉。
import torch
from transformers import (
AutoModelForCausalLM,
AutoTokenizer,
BitsAndBytesConfig,
TrainingArguments
)
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from datasets import load_dataset
from trl import SFTTrainer
# 1. 4-bit量化配置
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
bnb_4bit_compute_dtype=torch.float16
)
# 2. 加载基座模型
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Llama-2-7b-chat-hf",
quantization_config=bnb_config,
device_map="auto",
trust_remote_code=True
)
# 3. 冻结并准备k-bit训练
model = prepare_model_for_kbit_training(model)
# 4. LoRA配置
lora_config = LoraConfig(
r=16, # 低秩矩阵的秩
lora_alpha=32, # 缩放因子，一般取2*r
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
lora_dropout=0.1,
bias="none",
task_type="CAUSAL_LM"
)
model = get_peft_model(model, lora_config)
# 5. 训练参数
training_args = TrainingArguments(
output_dir="./medical-llama2-7b-lora",
num_train_epochs=3,
per_device_train_batch_size=16, # QLoRA下可以开到16，LoRA只能4
gradient_accumulation_steps=2,
learning_rate=2e-4,
warmup_steps=100,
logging_steps=50,
save_steps=500,
fp16=True,
optim="paged_adamw_8bit", # QLoRA专用优化器
report_to="tensorboard"
)
# 6. 训练
trainer = SFTTrainer(
model=model,
args=training_args,
train_dataset=dataset,
tokenizer=tokenizer,
max_seq_length=2048,
dataset_text_field="text"
)
trainer.train()
这里SFTTrainer是trl库的，比原生Trainer好在能自动处理prompt mask。如果你不想用trl，可以用普通的Trainer并自定义collator，但代码量会多不少。
五、踩坑与优化：Loss震荡、OOM、过拟合
第一轮训练就遇到惨痛教训。用LoRA（不量化）跑，batch size只能设4，梯度累积8步，等效batch 32。训练到第2000步时，loss从1.2降到0.7后开始剧烈震荡，验证集ROUGE-L不升反降。排查发现两个问题：
问题1：学习率过高。 LoRA的默认学习率是2e-4，但我的数据量只有12000条，这个学习率导致适配器参数更新幅度太大，破坏了预训练知识。把学习率降到5e-5后震荡消失，loss曲线变得平滑。
问题2：量化模型的反向传播不稳定。 QLoRA用4-bit存储，但计算时反量化到fp16。如果梯度范数过大，反量化误差会被放大。我的解决方案是在TrainingArguments里加gradient_clip_val=1.0，同时把lora_dropout从0.1降到0.05。
显存方面，QLoRA比LoRA省太多。LoRA在batch size=4时显存占用17.8G，QLoRA在batch size=16时只有14.2G，还能再开梯度检查点。我最终配置：batch size=16，gradient_accumulation=2，等效batch 32，3090功耗约280W，训练速度约1.4 it/s。
还有个数据质量的问题：我后来发现loss降到0.3后不再下降，检查生成的文本发现模型在重复“好的，请问还有什么问题吗”这种模板话。原因是我的数据里30%的答案是“建议就诊”这种短句，模型学会了偷懒。重新清洗数据，把这类短答案剔除或扩充到50字以上，loss才继续下降。
六、效果数据：ROUGE-L从0.21到0.37，但仍有幻觉
三张图说明问题：
图1：Loss曲线对比（TensorBoard截图）
- 蓝色（LoRA，lr=2e-4）：第500步开始震荡，最终loss 0.65
- 红色（QLoRA，lr=5e-5，grad clip）：平滑下降，最终loss 0.31
图2：显存占用对比
- LoRA：峰值17.8G，batch=4
- QLoRA：峰值14.2G，batch=16
图3：推理效果示例
测试问题：用户：我爸爸有糖尿病，能吃阿莫西林吗？
微调前（基座模型）：
医生：我不是医生，请咨询专业医疗人员。糖尿病患者的用药需要谨慎。
微调后（QLoRA）：
医生：糖尿病患者在感染时需要抗生素治疗，阿莫西林属于青霉素类，一般情况下可以使用，但需注意以下几点：1. 如果肾功能不全，需要调整剂量；2. 建议监测血糖，因为感染本身会影响血糖控制；3. 若出现皮疹或腹泻，应立即停药并就医。
定量指标方面，我建了一个200条的医疗QA测试集，包含药物禁忌、孕妇用药、儿童剂量三类。微调后ROUGE-L从0.21提升到0.37，BLEU从0.08提升到0.19。但注意，ROUGE-L对长答案有偏好，实际使用中我发现模型在“不确定”的场景下还是会一本正经地胡说八道，比如问“面膜可以用在伤口上吗”，模型会回答“可以，但需注意过敏反应”——这明显不对。所以QLoRA提升的是指令跟随能力和格式规范性，但不能解决事实性幻觉问题，尤其是在医疗这种高风险的垂直领域，上线前还需要接入知识库校验。
七、总结与建议
这次实践的核心结论：
- QLoRA是单卡微调7B模型的性价比最优解，显存占用比LoRA低30%，batch size可以开4倍，训练速度反而快18%（因为batch大，GPU利用率高）。
- 学习率和梯度裁剪是Loss震荡的关键，数据量小于5万时，学习率建议不超过1e-4，并开启梯度裁剪。
- 数据质量比模型结构更影响效果，短答案和模板化样本会让模型学到投机取巧的行为，清洗数据比调参收益更大。
最终模型上传到了HuggingFace，地址是medical-llama2-7b-qlora，总共230MB（只保存LoRA权重），加载时用PeftModel.from_pretrained合并到基座即可。如果你也在做垂类微调，建议先用QLoRA跑通流程，再根据效果决定是否升级到全参微调。毕竟，能用一张3090解决的问题，没必要上A100集群。
