用LoRA微调7B模型后，推理时效果变差，是我数据没处理好还是方法不对？

两千条数据跑LoRA，效果反而变差，这事儿我前两个月刚踩过坑。先别急着怀疑方法，有几个点可以自查一下。

第一，数据质量比数量重要得多。两千条客服对话，如果标注的问答模式太单一，或者存在大量噪声（比如标点符号错误、角色标签混乱），模型很容易学到错误模式。我当初用五千条脏数据跑出来，效果还不如一千条精标数据。建议抽20条出来，自己手动看看模型在微调前后的输出差异，是不是出现了重复、胡言乱语或者过度拟合某些高频句式。

第二，LoRA的超参设置很敏感。官方教程给的参数通常是通用场景，但客服对话这种垂直领域，秩（rank）和alpha值可能需要调小。比如rank从8降到4，alpha从16降到8，有时候反而能缓解灾难性遗忘。另外学习率建议从1e-4起步，用余弦衰减，如果模型在验证集上loss不降反升，果断早停。

第三，检查基座模型的tokenizer是否准确处理了你们的客服术语。很多7B模型对中文标点、特殊符号（比如#工单号、[客服]标签）分词比较粗糙，这会导致LoRA根本没学到关键上下文。可以先把输入文本用模型的分词器编码再解码，看看有没有奇怪的截断或合并。

最后，不妨试试冻结embedding层和lm_head层，只微调中间层的attention。我上次这么搞，推理时果冻现象（生成内容突然崩坏）明显减少了。如果还不行，建议把数据格式从JSON转成纯文本对话模板，比如“用户：xxx\n客服：xxx”这种，很多LoRA实现其实对模板格式很敏感。