最近在试着用Llama3-8B微调一个小客服模型，数据集是自己整理的1000条问答对。用的LoRA，rank=8，学习率2e-4，跑了10个epoch，loss从2.3降到1.8左右就死活不动了。试过调高lr到5e-4，反而震荡更厉害。也怀疑过数据质量，但手动看了几轮感觉对齐得还行。有没有大佬遇到过类似情况？是因为数据量太少，还是我超参设置有问题？或者是不是得换全量微调试试？先谢过各位了。