最近在尝试用LoRA微调一个7B的开源模型，想做法律领域的问答助手。数据集大概5k条，格式是instruction/input/output，训练参数用的r=8，alpha=32，学习率2e-4，跑了3个epoch。但推理时发现模型要么答得很泛，要么直接把训练集里的答案背出来了，泛化能力很差。也试过调低学习率和增大r，但效果提升不明显。想请教下有经验的朋友，这种情况一般是数据质量的问题还是超参设置不对？有没有什么排查思路？