最近在跑一个法律问答的LoRA微调，基座是Qwen2.5-7B，训练集大概5000条问答对，格式就是标准的“user/assistant”。loss降到0.8左右，但推理时发现一个诡异现象：只要用户问得稍微长一点（比如超过3句话），模型就会把用户的提问当成背景知识复述一遍，然后才开始回答，甚至有时直接“总结”用户的问题，而不是给出答案。
最近在跑一个法律问答的LoRA微调，基座是Qwen2.5-7B，训练集大概5000条问答对，格式就是标准的“user/assistant”。loss降到0.8左右，但推理时发现一个诡异现象：只要用户问得稍微长一点（比如超过3句话），模型就会把用户的提问当成背景知识复述一遍，然后才开始回答，甚至有时直接“总结”用户的问题，而不是给出答案。
是不是训练集里assistant开头老爱复述问题？试试把这类样本删掉再训。
这个现象挺典型的，大概率是训练数据里assistant回复偏短，模型没学会“先理解再回答”的边界。你可以试试在推理时给prompt加个明确分隔，比如“问题：xxx\n回答：”，让它知道哪部分是指令。另外检查下训练集里有没有很多复述型样本，模型可能把“总结问题”当成了默认行为。我上次也遇到过，后来在loss里加了点指令跟随的权重就好多了。