最近在折腾用LoRA微调Llama3.1 8B做特定框架的代码补全。训练集是自己爬的几千条仓库代码，清洗后大概2万条样本，学习率用的2e-4，rank=16，跑了3个epoch。训练时loss从1.8降到了0.9，看着挺正常的。但eval的时候发现，模型生成的代码经常出现重复片段，甚至偶尔会输出完全无关的注释或者不闭合的括号。反而基座模型虽然不按我的格式来，但语法上是稳的。我怀疑是不是数据里噪声太多，或者学习率调大了导致灾难性遗忘？另外，我用的是QLoRA，是不是量化精度影响了生成稳定性？有没有大佬遇到过类似情况？求指点一下排查方向。