微调LLM时，prompt该怎么写才能让模型学会“角色扮演”？

固定模板其实不太够，我试过动态调整会更稳，但前提是每条样本的prompt得有上下文连贯性，不然模型容易学成“拼凑感”。否定示例真没必要写那么死，反而容易让模型说话太谨慎，不如在正例里多塞几种好的道歉方式让它自己归纳。你那个7B模型跑偏，可能不全是prompt问题，训练数据里角色一致性不够也会这样，建议检查下样本里客服的回复风格是不是太杂了。另外，偶尔跑偏的话，可以试试在prompt末尾加一句“只根据对话历史回复”，能压住不少幻觉。

动态调整会好很多，固定模板容易让模型偷懒；否定示例直接塞几个真实对话进去比单独强调管用。

这个坑我也踩过，固定模板真不行，尤其客服场景得按意图分桶写prompt，比如退换货和售后咨询的引导逻辑完全两码事。否定示例我觉得可以加，但别写“不要说抱歉”这种，改成“优先确认订单号再安抚情绪”会好很多，不然模型容易畏首畏尾。另外动态调整时，建议把历史对话里的关键槽位抽出来拼进prompt，模型泛化会稳一点。你试过在样本里混入几个“角色行为边界”的示例吗？比如用户骂人时应该转人工而不是硬怼。

固定模板保下限，动态调上限，但更关键的是把否定示例塞进对话历史里，光强调没用。

我试过你这路子，动态调整比固定模板稳很多，尤其是客服这种多轮场景，固定格式容易让模型把语气学死。否定示例我自己试下来效果不大，反而容易让模型变得畏手畏脚，不如多给几个正面例子让它自己归纳。另外你试试把“不要做什么”改成“要做什么”的表述，比如把“别说抱歉”换成“先确认用户情绪再给方案”，收敛会快不少。7B模型对指令的敏感度确实高，建议你抽几个badcase对比下不同prompt的loss曲线，能看出到底哪层在起作用。

我之前也踩过这个坑，固定模板真不行，尤其客服场景，得把每个样本的动态上下文塞进prompt里，比如用户情绪、商品类型，模型才学得会变通。否定示例我觉得得加，但别写成“不要说”，改成“用冷静语气确认订单号”这种正向引导，效果更稳，不然模型容易绕开重点。另外你试过在系统提示里塞几个完整对话范例吗？我这么干之后跑偏率明显降了。

说实话这个问题我当初也折腾了好久，最后发现固定模板不如动态构造来得靠谱，尤其客服场景，每轮对话的真实意图和语境差别挺大。你试过把用户身份、商品类目、当前情绪这几个变量直接嵌进prompt里吗？比如“用户是xx会员，反馈xx问题，情绪偏激动”，模型对上下文的理解会深很多，而不是死记硬背回复套路。关于否定示例，我个人觉得光写“不要说‘我很抱歉’”效果有限，模型反而容易绕开那个词但语气还是敷衍，不如直接给一个“低分回复”和一个“高分回复”的对比样本，让它在损失函数里自己学会边界。还有个小技巧，微调时把训练样本的prompt稍微打乱顺序，比如有时先给例子再给指令，有时反过来，能减少模型对格式的过拟合，至少我这边跑出来稳定性好了不少。你也试试看把系统提示和用户输入分开字段处理，别全拼成一句话，有些框架对角色信息的编码方式影响挺大的。最后想问下，你用的7B是基座直接调还是已经跑过SFT的？这俩对prompt的敏感度差挺多的。

我之前也踩过这个坑，尤其7B这种小模型对格式特别敏感。个人经验是固定模板比动态调整稳得多，但模板里必须塞进完整的角色设定加一个核心行为准则，比如“你是客服，先共情再解决”，这样模型至少有个兜底逻辑。你说的动态调整，我试过效果反而不稳定，因为样本一多模型容易把格式当噪音。关于否定示例，我强烈建议加，但别放在prompt里硬写“不要说”，而是直接给一个错误的回复样本配一个“这是错误示范”的标签，微调时模型自己学到的规避效果比指令强很多，我猜是因为负样本会让注意力分布更清晰。另外你提到“用户说商品坏了”那种具体场景，我建议把场景描述拆成状态加动作，比如“用户情绪激动+反馈故障”，这样模型能学会关联情绪和应对策略，而不是死记对话树。最后问一下，你用的数据里正负样本比例大概多少？我怀疑跑偏是负样本太少导致的。

我之前也踩过这个坑，试下来感觉固定模板其实是个伪命题。你那个“先道歉再问订单号”的例子，本质上是把行为链写进了指令里，模型学的其实是“触发词-动作序列”的映射，而不是角色本身。所以动态调整prompt，每个样本里都带上具体的场景描述和期望动作，比统一一个“你是一个客服”要有效得多，因为模型是从数据分布里学概率的，而不是从一句话里理解身份的。

至于否定示例，我觉得得慎用。你说“不要说‘我很抱歉’”，模型可能反而会把“抱歉”这个token的权重拉高，因为它出现在监督信号里了。我的经验是，与其用否定句，不如把错误回复直接作为负样本，在训练数据里用“输入-错误输出-标注为低分”或者干脆不放进去，让模型在对比中自己学会避开。但如果你用的是SFT而不是RLHF，那负样本其实不好处理，容易让模型困惑。

还有个细节，如果你想让角色有“温度”，可以试着在prompt里加入一点语气词或者约束，比如“用简短、口语化的方式回应，不要超过两句话”，这比强调“不要说”更能约束生成风格。另外我建议你试试把对话历史也拼进prompt，让模型看到上下文，而不是只针对当前这句话做反应，这样跑偏的概率会小很多。

最后想问下，你训练的时候是用chat模板还是纯文本拼接？我怀疑7B模型对格式很敏感，有时候换一下分隔符和角色标记，效果就天差地别，这个变量值得先控制住再调其他。

动态调整更好，固定模板会把模型教死。否定示例别直接写“不要说”，给正确话术对比效果更明显。

固定模板加动态场景吧，否定示例真得加，不然模型老爱说废话。

动态调整更靠谱，固定模板会把模型教死。否定示例别直接写“不要说”，给个正确话术对比更有效。

我最近也在搞类似的微调，试下来感觉固定模板反而容易让模型僵化，尤其是客服这种场景，动态拼场景描述加当前输入会自然很多。否定示例我觉得作用有限，模型容易学成字面回避，不如直接多给几个正确和错误回复的对比对，让它自己归纳边界。你试过把历史对话轮次也拼进prompt吗？我发现7B模型对多轮上下文特别敏感，角色感很多时候是靠对话节奏带出来的。

固定模板容易把模型教死，动态加场景和负例是真管用，但别直接写“别说抱歉”，换成“先道歉再核实”这种正向引导更稳。

固定模板我试过一阵子，后来觉得太死，尤其客服场景问题千奇百怪，模板反而容易让模型忽略关键细节。我现在是每个样本带简短场景加一个正面示例，否定示例会放但只放一句，比如“别直接说抱歉”，写太多反而干扰它学语气。

还有个坑是动态调整格式的话，模型容易把格式本身当特征学乱。你试试把角色描述和当前用户问题分开成两段，中间加个分隔符再让模型输出，稳定性会好一些。

至于跑偏的问题，我怀疑是你数据里负面样例比例不够，光靠prompt压不太住，不如在数据里多掺点“错误回复+修正回复”对，让它自己对比着学。

动态调整更靠谱，固定模板会把模型教死。否定示例放几条就够了，重点还是正例写清楚场景细节。

我之前也踩过这个坑，特别是用7B这种小模型，prompt格式的影响比想象中大得多。固定模板确实省事，但样本多样性不够的话，模型很容易把格式当“套路”背下来，换了个场景就露馅。我后来是做成半动态的，把角色设定、当前任务、以及一个“对话风格参考”拆开，每个样本里对应部分单独填，这样模型能学到“什么时候该用什么语气”，而不是死记硬背。关于否定示例，我试过在prompt里加“避免说X”，但效果一般，反而容易让模型在生成时变得犹豫甚至矫枉过正。更有效的做法是在训练数据里构造几组“反面样板”——就是故意把错误回复标成bad case，让模型看到“这种话不该接在用户问句后面”。另外，你提到“跑偏”，我怀疑可能跟数据里的回复风格方差太大有关，比如有时候太热情、有时候太冷淡，模型会把不同风格混在一起。建议你检查一下训练集里客服回复的情绪一致性，或者试试在loss上给离群样本降权。说到底，prompt是给模型看的“脚手架”，不够用就说明数据里没给它足够的“行动线索”，不如多花点时间调整样本结构，而不是死磕模板格式。

说实话我觉得固定模板更好使，但模板里得把角色背景、当前任务和回复风格揉进一段话里，别只给一句“你是客服”。否定示例确实有用，不过写成“不要用‘我很抱歉’开头”不如直接给个正确话术当few-shot，让模型模仿那个结构。另外动态调整容易让模型学乱，不如每类场景搞一个固定前缀，但数据量够的话也可以试试把场景描述和用户输入拼在一起，效果可能更稳。

动态调整更靠谱，固定模板容易让模型偷懒。否定示例别直接写“不要说”，换成正确示范加对比样本效果更好。

我之前也踩过类似的坑，7B模型做角色扮演确实挺吃prompt格式的。后来发现用固定模板效果反而更稳，因为动态改prompt会让模型很难抓住“边界”，它容易把场景描述当成用户输入的一部分去理解。带具体场景和例子那步是对的，但你得注意例子别太长，太长模型会学成“复读机”，只模仿句式不学逻辑。否定示例我觉得可以加，但别直接写“不要说我很抱歉”，那样容易让模型对这句本身产生奇怪关联。更好的做法是在训练数据里放正例，把错误回复做成“反例对”，让模型在对比里学。另外你那个“先道歉再问订单号”其实已经接近流程化prompt了，可以把它拆成状态机式的步骤，每一步给一个短指令，模型会清晰很多。还有一点，微调时prompt和推理时的prompt最好保持一致，不然学出来的角色感会飘。