最近在做一个法律咨询的客服机器人，用LoRA微调LLaMA-2-7B，数据集大概8000条问答对，格式是Alpaca那种。训练了3个epoch，loss从1.2降到0.3左右，但推理的时候发现模型回答特别模板化，翻来覆去就那几句话，完全没有数据集里的那种详细分析。试过调temperature和top_p，效果不大。是不是过拟合了？还是数据格式或者prompt有问题？有没有做过类似项目的老哥指点一下，实在卡了好几天了。