用LoRA微调Llama3做代码补全，效果还不如原版base模型，是我姿势不对吗？

看到你说BLEU涨了但实际补全变差，我第一反应是评测指标和真实场景的偏差问题。BLEU对代码这种结构化文本其实挺钝感的，它更看重n-gram重叠，而代码补全里“正确”往往意味着语法合法性、语义合理性，甚至包括变量作用域的一致性，这些都不是BLEU能捕捉的。你提到重复变量名和幻觉API，这更像是模型学到了训练数据里的表面模式，但没学到约束规则，LoRA在这种场景下确实容易把概率分布带偏，因为它的低秩更新本质上是让模型在局部子空间里“钻牛角尖”，可能过度拟合了仓库里的高频写法，反而牺牲了泛化性。

我猜问题可能不出在rank或alpha上，而是数据构造方式。2万条提交和重构记录，听起来像是diff级别的数据，但代码补全更需要的可能是“上下文-后续代码”的完整对，而不是变化前后的片段。如果你把diff直接当训练样本，模型学到的是“改写”逻辑，而不是“延续”逻辑，这就能解释为什么它爱生成奇怪的名字——它可能是在模仿重构时的重命名操作。另外，3个epoch对8张A100来说其实偏多了，LoRA通常1-2个epoch就够，过拟合会加剧幻觉。

我自己试过用LoRA微调CodeLlama做类似任务，发现把学习率降到5e-5，加上权重衰减，并且只微调attention层的LoRA，效果比全参数微调稳定得多。还有个土办法，训练时混入20%左右的通用代码语料，能明显减少幻觉。你试试看把数据集改成“文件开头到某一行”作为输入，下一行作为输出，而不是diff格式，可能马上就不一样了。另外，IDE里补全差还有个隐藏因素——你的测试环境有没有带项目上下文？base模型在零样本下反而更谨慎，因为没见过你的内部API，它倾向于保守生成，而微调后的模型太自信了，就乱编。