最近在跑一个项目，用Llama-3-8B微调成客服对话模型，数据是自己爬的电商客服聊天记录，大概5万条。用的LoRA，rank=8，alpha=16，batch size=2，学习率试过1e-4和5e-5，训练了3个epoch，但val loss一直在1.8左右徘徊，生成回复质量很一般，经常回答“抱歉，我无法回答这个问题”。我怀疑是数据太杂，对话轮次太长？还是rank太小了？或者是不是需要先冻结embedding层？有没有大佬遇到过类似情况，求指条明路。