微调LLM时，prompt该怎么写才能让模型学会“角色扮演”？

这事儿我踩过坑，固定模板其实坑很大，尤其客服场景，用户问法千奇百怪，动态拼场景描述反而更稳。负面示例得加，但别直接写“不要说抱歉”，改成“直接提供解决方案”这种正向引导，模型更容易学。另外你试过在样本里混几条对话历史吗？让模型知道上下文比单轮指令重要得多。

固定模板容易把模型教成复读机，动态调整每个样本的prompt其实更接近真实对话的多样性。我试过在训练数据里塞几个“反面例子”（比如标记“别用官方腔”），效果比单纯在prompt里写“不要说抱歉”要稳，因为模型是看分布学的，不是看指令改的。另外你那个客服场景，建议把“先道歉再问订单号”这类动作拆成两步，分别给不同的样本，不然它容易把两个动作捆在一起。

这问题我太懂了，之前调了个客服模型，固定模板和动态prompt都试过，感觉动态加场景描述确实更稳，但样本一多维护成本就上来了。否定示例我建议别直接写“不要说xxx”，模型容易学成禁忌词表，不如给几个正面替代示范，比如“我知道您很着急，马上帮您查”这种。你试过在prompt里注入用户历史对话或者情感标签吗？有时候角色跑偏是因为上下文信号不够强。

我之前微调的时候也踩过这个坑，后来发现固定模板真的不如动态构造prompt好用。你那个“先道歉再问订单号”的例子其实已经摸到门道了，但关键是要把场景拆得更细，比如把“商品坏了”拆成“物流破损”“功能故障”“外观瑕疵”，每种情况配不同的话术模板，模型学到的就不是死记硬背，而是条件反射了。至于否定示例，我试过在prompt里加“不要使用‘我很抱歉’这种开头”，效果反而有点怪，模型会变得过度谨慎，有时候连道歉都不敢说了。更靠谱的做法是直接把错误回复写成负样本，让模型看到“用户投诉时回复‘我很抱歉’是错的，正确答案是……”这样对比学习，比单纯在指令里强调“不要说”要稳得多。另外建议你试试在prompt末尾加一个“当前对话历史”的占位符，微调时把多轮对话也喂进去，7B模型对上下文敏感度其实挺高的，这样能减少跑偏概率。还有个笨办法，就是每个样本都带一个“角色设定+场景+示例回复”的三段式，虽然数据预处理麻烦点，但收敛速度和稳定性都明显好。最后想问下你用的什么基座模型，不同底座对指令格式的敏感度差异挺大的，说不定换个基座问题就解决一半了。

说实话你这个观察挺准的，prompt格式对微调效果的影响经常被低估。我之前调一个垂直领域的模型也踩过类似的坑，后来发现固定模板反而限制了模型的泛化能力，尤其你客服场景里用户问法千奇百怪，模板一死模型就只会套壳子。我觉得动态调整prompt会更靠谱，但关键是让模型从数据里学到“意图到动作”的映射，而不是死记对话模式。你提到给具体场景例子确实有效，因为模型有了参照物，但例子得覆盖足够多的边界情况，不然稍微一变它又懵了。关于否定示例，我试过在prompt里明确写“不要用道歉句式”，效果有点微妙——模型可能会变得过于机械，甚至回避所有礼貌表达。我的做法是只给正面示例，但在训练loss上对错误回复的token做加权惩罚，这样比在prompt里强调“不要说”更直接。另外你7B模型的话，样本多样性比prompt设计更关键，试试把同一意图用不同话术和情绪写进数据，比纠结格式有用得多。最后想问你，微调时有没有做数据清洗？有时候模型跑偏其实是训练集里存在冲突标签，和prompt关系不大。

我之前也踩过这个坑，7B模型对格式的敏感度真的超乎想象。固定模板最大的问题是容易让模型把“角色感”和“话术”绑定，而不是学会理解场景，建议你试试把系统提示词写成“你是谁+你面对谁+当前任务目标”三件套，然后每个样本里的用户输入都带上具体情境变量，比如“用户语气很急，说商品破损”，这样模型才能学到应对不同情绪的逻辑。关于否定示例，我个人经验是别直接写“不要说抱歉”，反而容易让模型绕开所有道歉词，哪怕该道歉的场合也憋着，更好的办法是给一组正反例对，比如同一个用户问题，配一个高分回复和一个低分回复，让模型自己对比差异。另外动态调整prompt是对的，但别每个样本都改格式，保持结构稳定，只替换场景关键词，不然模型会学得很混乱。最后想问你用的什么微调框架？如果是LoRA的话，学习率调到1e-4以下可能会缓解你说的“跑偏”问题。

微调这块我踩过类似的坑，固定模板确实省事，但样本多样性不够模型就容易死板。我后来是每个样本按场景动态写prompt，把用户语气和商品类型都塞进去，效果明显稳一些。否定示例我觉得没必要明写“不要说”，反而容易让模型困惑，不如多给几个正面例子，让它自己学会边界。你试过在prompt里加一点对话历史吗？比如前几轮用户怎么抱怨的，模型可能更容易抓住角色该有的态度。

别纠结固定还是动态了，关键是让模型看到“怎么回应”而不是“是什么角色”。我一般会把期望的回复风格直接写进prompt，比如“你是个耐心且专业的客服，先安抚情绪再核实信息”，再配一两个正反例，比单纯说“你是客服”强太多。否定示例偶尔加一两条也行，但别每样本都放，不然模型会变得畏手畏脚。你现在的训练数据里，用户问题的多样性够吗？我猜跑偏多半是数据太集中。

动态调整吧，固定模板上限太低。我试过把场景细节、用户情绪、甚至商品品类都写进prompt，模型学出来的泛化性好很多。否定示例我建议别放，我试过写“别说‘我很抱歉’”，结果模型反而更爱道歉，可能是负样本被强化了。不如改成给两个不同风格的正面回复

动态调整更有用，固定模板模型容易偷懒。否定示例得加，但放一两条就够，多了它反而会绕开所有道歉话术。

建议试试把场景拆成对话历史+当前用户输入，角色指令放system里，效果比全塞进prompt稳很多。

我之前也踩过这个坑，后来发现固定模板反而限制了模型发挥。你那个带具体场景的例子方向是对的，但建议把“先道歉再问订单号”这种动作拆成更细的对话轮次，让模型自己学顺序。否定示例真得加，不过别写在prompt里，直接放进训练数据当负样本更自然，模型看到真实对比才不容易跑偏。动态调整的话，我是按意图分类分了几套模板，效果好过一套打天下。

动态调整更管用，固定模板容易让模型死记硬背。否定示例加多了反而会混乱，不如多给几个正例让它自己总结规律。

固定模板更稳，动态调整容易学歪，建议把否定示例直接写进数据里，比在prompt里强调管用。

说实话你这个观察挺准的，prompt格式对微调效果的影响比很多人想的都大。我个人经验是固定模板加动态填充比纯动态描述稳定，尤其是7B这种小模型，模板能给它一个明确的“骨架”，比如“角色设定+场景+任务+输出格式”这样固定下来，然后每个样本只换具体内容。但模板也不能太死，不然模型容易过拟合到模板的字面结构上，反而忽略语义。

关于否定示例，我觉得直接写“不要说X”效果其实一般，模型有时候会把否定词也当成一种特征学进去，甚至更爱说X。更好的办法是给一组正反对比，比如“错误回复：我很抱歉，请联系客服。正确回复：实在不好意思，我先帮您查一下订单号”，这样模型能从对比里学出边界，比单纯禁止靠谱得多。

另外你提到的跑偏问题，我怀疑不全是prompt的锅，也可能和你训练数据里的角色一致性有关。如果样本里客服有时热情有时冷淡，模型就很容易飘。建议检查下数据里有没有冲突的回复风格，尤其是那些“虽然场景不同但意图相近”的样本，最好统一话术风格。

最后问一句，你试过在prompt里加“用户当前情绪”这个变量吗？比如“用户愤怒”和“用户困惑”分开写，我上次试了下，感觉模型对场景的敏感度会明显提升，你可以试试看。

动态调整更好，固定模板容易让模型学成死记硬背。否定示例建议加，但要用正面引导替代，比如“改成先确认用户情绪再处理问题”。

固定模板肯定不行，我试过动态拼场景描述效果会好很多，但关键是别把例子写太死，不然模型容易记住具体话术而不是逻辑。否定示例我也加过，效果有点玄学，有时候反而让模型更爱说那句。你试试把对话历史里多塞几轮真实客服的纠错过程，比单纯写“不要说啥”更管用。另外7B模型对角色感知弱，可能得在system里明确标注“你是客服，不是聊天机器人”，再配合温度调低点，跑偏概率会小些。

我之前微调也踩过这个坑，固定模板确实容易让模型学成死记硬背。后来我把prompt改成“场景+角色+行动准则”三段式，每个样本按实际对话动态填内容，效果明显稳了。否定示例我觉得得加，但别直接写“不要说抱歉”，而是给个正确示范，比如“用户抱怨时先确认问题，再给解决方案”，模型更容易学到边界。你试试把错误回复当负样本单独抽出来，用“避免行为”的标签做对比训练，可能比塞进prompt里更有效。

我们之前调客服模型也踩过这个坑，动态调整prompt比固定模板效果好很多，尤其是把用户意图和对话历史塞进去，模型能更清楚该干嘛。关于否定示例，我试过在prompt里加“不要用‘很抱歉’这类话术”，确实能减少机械回复，但得注意别让它因噎废食。还有个小建议，可以在样本里混入一些“坏例子”，让模型知道什么不该做，比单纯给好例子更管用。

我最近也在搞类似的微调，试下来感觉固定模板加动态填充比纯手写要稳，尤其场景细节得塞进去，不然模型真容易飘。否定示例我觉得挺有用的，但别直接写“不要说抱歉”，容易让它学成绕开道歉，不如给个正确话术对比着来。你试过在system prompt里把客服人设和流程分开写吗？我这么调之后跑偏少多了。倒是好奇你用的什么基座模型，7B的话不同架构对prompt敏感度差挺大的。

我之前也踩过这个坑，固定模板确实容易让模型学成复读机。后来我是把场景描述和对话历史直接拼在prompt里，每个样本都动态生成，效果比死板模板好挺多。否定示例的话，建议别单独强调，容易让模型过度回避，反而更生硬，不如在正常回复里多给几个正面例子让它模仿。你试过把客服的“情绪转折”也写进去吗，比如先共情再解决问题，我感觉这样模型跑偏的概率会低不少。

说实话你这个观察特别对，prompt格式对微调效果的影响比想象中大得多。我试过类似场景，固定模板确实省事，但模型容易把模板当成“套话”，反而学不到真实的对话节奏。动态调整每个样本的prompt会更累，但能让模型抓住上下文里的关键动作，比如你举的“先道歉再问订单号”这个例子，其实就是把行为逻辑写进prompt里，相当于给了模型一个“行为锚点”。

关于否定示例，我觉得单独强调“不要说‘我很抱歉’”这种话，效果不一定好，因为模型可能把否定指令也当成一种风格去模仿。更靠谱的做法是直接在样本里加入对比性的正反例，比如同一场景下，一条是“我很抱歉给您带来麻烦，请问订单号是？”另一条是“抱歉，订单号发我一下”，让模型自己从数据分布里学会区分。另外，我自己的经验是，prompt里最好带上用户的具体描述片段，而不是只抽象说“用户是来投诉的”，这样模型能学会对具体实体和情绪做出反应，而不是背通用话术。

还有个点想问你，你说的“跑偏”是指角色一致性崩了，还是回复内容本身逻辑不对？如果是前者，可能要在prompt里强调身份设定，比如“你是客服小美，语气温和但简洁”，如果是后者，那可能跟基座模型本身能力有关，7B要兼顾角色和任务确实吃力，可以考虑把场景分得更细，每个子场景单独微调一次，或者加一点LoRA层数。最后想问下，你训练数据里有没有覆盖那种用户情绪特别激烈的极端案例？我怀疑那才是测试角色扮演是否真正泛化的关键。

固定模板加动态场景混着来，否定示例写进去确实能少跑偏，但别太死板。

角色感是靠对话历史带出来的，光改prompt不如多塞几轮真实客服对话样本。