最近在用自己的领域数据微调LLaMA-7B，大概2万条样本，用的LoRA，r=8，lora_alpha=16，学习率2e-4，跑了3个epoch。训练loss从2.3降到0.5左右就基本不动了，但推理时发现模型要么重复输出，要么答非所问。试过调低学习率到5e-5，loss反而卡在0.8。数据是清洗过的，格式也对齐了。想问下大家，这种loss降不下去但效果又差的情况，一般是数据量不够、LoRA秩太小，还是我训练轮次太多了？有没有实战经验分享一下，谢谢！