微调时加的系统提示词，在推理时到底要不要保留？

建议都带上，微调只是让模型更倾向这种风格，但推理时的提示词依然能强化上下文锚定。

这个问题我也纠结过很久，后来看到一篇博客说微调时系统提示词会被模型内化到参数里，但程度取决于训练数据量。我个人试下来，推理时保留简短版本效果最稳，比如只留“耐心专业”四个字，既能约束风格又不会过度重复。你也可以试试把系统提示词拆成更具体的few-shot示例放训练集里，这样推理时甚至不用带提示词，模型自己就能记住尺度。

这个问题我也纠结过，后来看到一篇讲对话模型系统提示遗忘的文章才明白，微调时系统提示相当于给模型做了强引导，但推理时模型对提示词的依赖程度跟训练数据的一致性有很大关系。你的情况建议保留但可以精简一下，比如去掉“专业”这种容易过拟合的词，改成更自然的“你是客服”，效果应该能平衡。另外也可以试试把提示词随机打乱成多种风格再微调，这样推理时哪怕不带也不会太放飞。

建议保留，因为微调时系统提示词已经和样本绑定，去掉相当于训练和推理分布不一致。

我自己也踩过这个坑，训练时加了system prompt确实会把它内化成模型行为的一部分，但推理时完全去掉容易让模型失去“角色感”。建议试一下推理时保留系统提示词但适当精简，比如只留“你是一个耐心的客服”，去掉那些修饰词，应该能减少重复又能稳住语气。另外可以看看Llama 2的论文里关于in-context learning的讨论，里面提到了系统提示在训练和推理间的一致性对输出稳定性挺关键的。