最近在尝试用LLaMA-Factory对Qwen2.5-7B做LoRA微调，任务是基于内部工单数据做领域问答。训练loss降得挺正常的，eval也还行。但遇到一个奇怪的问题：直接加载base模型+LoRA adapter推理，回答质量还可以；但用merge_and_unload把adapter合并回base权重后，回答变得很重复，甚至开始胡言乱语。target_modules设的是q_proj,k_proj,v_proj,o_proj，lora_rank=16，alpha=32。有没有大佬遇到过类似情况？是我merge方式不对，还是精度问题（用的bf16）？求指点。