最近在做一个医疗问答的微调项目，用LLaMA-2 7B + LoRA，数据集大概8000条。训练过程中loss从2.3降到0.8，看着挺正常的，但推理的时候模型回答全是“建议您咨询专业医生”这种废话，完全不输出具体内容。试过调temperature和top_p，也换了几个prompt模板，效果都不大。数据集里明明有具体的诊断建议和用药说明，但模型像没学到一样。想问下各位大佬，这种情况是数据格式的问题还是训练参数没调好？有没有类似经验分享一下，感谢！