最近在做一个法律咨询方向的微调项目，基座用的LLaMA-2-7B，数据集大概8000条问答对，格式是Alpaca那种。训练用LoRA，r=8，跑了3个epoch，loss从2.1降到0.6左右，看着挺正常的。但推理的时候发现模型回答特别模板化，不管问什么都先来一句“根据相关法律规定”，然后就开始绕圈子，具体条款和案例基本说不出来。试过调temperature和top_p，效果不大。也检查了数据，原始回答里没这么多套话。想问下这种情况一般是数据问题还是训练参数的问题？有没有人遇到过类似的？