最近在试着用LoRA微调Llama 3 8B做一个特定领域的问答模型，数据集大概5000条，都是整理好的QA对。我用的是HuggingFace的TRL库，学习率设了2e-4，rank=8，跑了5个epoch。但奇怪的是，loss从1.2降到0.9左右就卡住了，再跑也不动。试过调大学习率到5e-4，反而震荡更厉害。是不是LoRA的秩设太低了？还是说数据集太小或者质量有问题？看别人分享的类似任务loss能降到0.5以下，有点怀疑自己是不是哪步搞错了。有没有大佬遇到过类似情况？