1. 为什么需要LoRA微调？——从全量微调的成本说起

做LLM微调，第一个绕不开的问题是：全量微调太贵了。以Llama-2-7B为例，即使使用bfloat16，单卡显存需求也超过28GB，而全量微调时梯度、优化器状态等额外开销会让显存轻松突破40GB。这在大部分个人开发者或小团队场景下几乎不可接受。

LoRA（Low-Rank Adaptation）的核心思路是冻结原始权重，只在Transformer的attention层注入可训练的低秩矩阵。这样一来，可训练参数量从7B骤降至约35M（以rank=8为例），显存需求直接砍半。QLoRA更进一步，通过4bit NormalFloat量化+双重量化，让7B模型在24GB显存的单卡上也能微调。

本文选择使用QLoRA技术，在单张RTX 4090（24GB显存）上微调Llama-2-7B-Chinese-Chat模型，目标是让模型学会以更自然的风格回答中文指令。

2. 环境与版本——踩过版本坑后推荐

先说结论：版本对齐是第一位。我最初因为transformers版本不对，导致BitsAndBytes加载模型时报“not supported dtype”错误，折腾了两小时。

推荐环境如下：

Python 3.10.12
torch 2.1.2+cu121
transformers 4.36.2
peft 0.7.1
bitsandbytes 0.41.3
datasets 2.16.1
accelerate 0.25.0
trl 0.7.11

注意：bitsandbytes的0.41.3版本对4bit量化支持最好，且需要提前安装cuda 12.1驱动。实测在A100上也能完美兼容，但RTX 4090需要额外设置torch.backends.cuda.matmul.allow_tf32 = True以启用Tensor Core加速。

3. 方案设计——数据准备与配置参数

3.1 数据格式

使用Alpaca格式的指令数据，每条包含instruction、input、output三个字段。我整理了一份2000条的中文问答对，覆盖知识问答、文本生成、代码编写等场景。示例：

```json
{
"instruction": "请用Python写一个计算斐波那契数列的函数",
"input": "",
"output": "def fibonacci(n):\n if n 注意力机制是一种让模型关注输入序列中不同部分的方法。它可以提高模型的性能。

微调后回答：

注意力机制（Attention Mechanism）是Transformer模型的核心组件，它允许模型在处理每个位置时动态地关注输入序列中所有位置的相关信息。具体来说，通过计算查询（Query）与键（Key）的相似度得到注意力权重，再对值（Value）进行加权求和。这种机制使模型能够捕捉长距离依赖关系，是BERT、GPT等预训练模型的基础。例如，在机器翻译中，解码器在生成每个单词时，可以关注源语言句子中对应的关键部分。

可以看到，微调后模型不仅给出了更详细的定义，还补充了具体例子，回答风格更自然、更专业。这得益于2000条指令数据中包含了大量“解释型”问答对的训练。

7. 总结与建议

LoRA/QLoRA让7B模型的微调变得平民化，在24GB显存下即可完成。本次实践的核心结论：

  1. 数据质量比数量重要：2000条精心标注的数据，效果远超1万条自动生成的噪声数据。
  2. LoRA rank选择：7B模型建议r=8-16，过大会导致显存上升且容易过拟合。
  3. 量化谨慎：4bit量化会损失约2-3%的准确率，但对7B模型影响有限，推荐作为默认方案。
  4. 推理合并：务必使用merge_and_unload()或单独保存LoRA权重，避免量化冲突。

后续可以尝试：增加target_modules到所有attention层、使用rank=16对比效果、或者尝试DoRA（Weight-Decomposed Low-Rank Adaptation）等新方法。微调是个系统工程，每一步都值得深入优化。