微调时加了system prompt，模型反而变傻了，是我姿势不对吗？

我之前也踩过这个坑，后来发现system prompt在微调数据里出现频率太高，模型会把它当成普通对话的一部分去模仿，反而削弱了对任务本身的泛化。你可以试试只在训练样本里放一小部分带system prompt的，或者干脆全去掉，让模型从user/assistant的轮次里自己学格式约束。另外如果非要保留，建议把prompt压缩到一句话，别带大段解释，不然模型注意力全被那堆规则吸走了。

遇到过类似的情况，后来发现问题可能出在训练时system prompt和推理时不一致，或者数据里它被当成普通文本学进去了，模型反而把格式跟特定表述绑死了。你可以试试把system prompt从每条样本里去掉，只在开头放一条固定的，或者干脆用对话模板把system和user分开构造数据，让模型学会区分指令和内容。另外，如果JSON格式老乱，检查下是不是prompt里给的示例太少，或者字段定义跟训练数据分布不匹配，有时候少即是多，反而更稳。

我之前也踩过类似的坑，感觉问题可能不在system prompt本身，而是和你的数据构造方式有关系。你把system prompt塞进每条训练样本里，模型很容易把它当成一种固定模板去记忆，反而忽略了真正要学的输入到JSON的映射关系。尤其是7B这个量级，容量有限，system prompt太长或者太具体，会挤占模型对任务本身的学习。我后来试过把system prompt只放在推理阶段，训练数据里只保留用户输入和标准JSON输出，效果反而稳很多。还有一种可能是你的JSON格式在训练数据里本身就不够统一，比如字段顺序、嵌套结构有细微差异，模型学起来就会乱。建议你检查一下训练集里JSON的schema是不是严格一致，另外可以试试用更短的system prompt，或者干脆做两阶段训练，先让模型学会按格式输出，再引入system prompt做约束。

我之前也踩过这个坑，每条数据都塞system prompt反而让模型把注意力分散到那些固定模板上，学不到真正的格式规律。后来改成只在部分样本里加，或者干脆把格式要求直接融进user内容里，效果反而稳很多。你可以试试把system prompt拿掉，靠输出示例本身来教格式，7B模型对指令的泛化能力没那么强。

我微调时也踩过这坑，system prompt太长反而干扰了模型学格式，试试精简到一句话再训。

我微调时也踩过这个坑，后来发现是system prompt在训练数据里重复太多，模型直接把它当成了固定前缀，推理时反而忽略真正的内容约束。你可以试试把system prompt只放在训练样本的一部分里，比如50%左右，让模型学会同时处理有和没有的情况。另外JSON格式乱掉也可能是训练数据里字段顺序不固定，模型没学到稳定结构，建议检查下标注一致性。

我微调时也踩过这个坑，后来发现关键是训练和推理阶段得保持一致。如果训练数据每条都带system prompt，那推理时也得原样带上，不然模型会懵。另外7B模型本身容量有限，system prompt太长反而会挤占学习任务本身的空间，试试精简到一两句话，或者干脆把格式约束直接融进instruction里，效果可能更稳。

我微调时也踩过这坑，system prompt每条都塞反而让模型记混了，不如训练时去掉，推理再加。

system prompt每一条都塞进去，模型容易把它当普通输入忽略掉，试试只在推理时加。

这个现象其实挺常见的，我踩过类似的坑。你每条数据都带同一个system prompt，模型很容易把它当成“固定背景”直接忽略掉，反而没学会prompt里描述的约束，等于白加了。更麻烦的是，如果基座本身没怎么见过这种模板，微调时它可能把system prompt和后面的内容当成一个整体去拟合，格式信号被稀释了。我后来试过两种做法：一种是训练时system prompt只保留很短的核心指令，把详细格式要求放到user轮里；另一种是干脆训练数据不带system，靠user里给一两个示例来对齐格式。另外你检查一下是不是所有样本的prompt完全一致，太一致的话模型会偷懒，觉得不管怎样都得输出，结果反而丢字段。也可以试试在推理时换一个训练没见过的system prompt，如果效果更差，说明它根本没学会遵循指令，只是记住了训练分布。还有个经验是JSON任务最好把schema写进user，并且用少量few-shot示例，比长system prompt管用得多。

system prompt放每条数据里容易让模型把它当捷径，反而忽略上下文，试试只在部分样本加或者干脆不加。

这个现象其实挺常见的，我当初也踩过一模一样的坑。你把system prompt塞进每条训练样本里，模型很容易学会“忽略它”，因为它在所有样本里都是常量，对预测下一个token几乎没有信息增益。更糟的是它占掉了上下文窗口，真正有用的用户问题和格式示例反而被稀释了。

我后来改成了只在少部分样本里随机插入system prompt，甚至有时完全不加，让模型学会在有无system prompt的情况下都能输出正确格式。效果明显好很多。另外你那个JSON输出任务，光靠system prompt约束格式其实很弱，不如直接在训练数据里把期望的JSON完整写出来，让模型从示例里学格式，比口头指令管用得多。

还有个细节是基座模型本身对system role的敏感度就不如chat模型，微调时强行加反而干扰了它原本的指令跟随能力。你可以试试把system内容合并进user turn里，或者干脆去掉，看baseline是不是真的更好。漏字段的问题也可能是学习率太大或者epoch太多导致过拟合到某些模板上了，值得排查一下。

我微调时也踩过这个坑。后来发现system prompt如果每条都一样，模型很容易把它当背景噪声忽略掉，反而学不到约束。可以试试把system prompt随机换几种写法，或者干脆一部分数据不加，让模型自己从user和assistant里学格式。另外检查下训练时system字段有没有被正确加进input_ids，有些模板会把它截掉，那就白搭了。

我之前也踩过类似的坑，感觉问题可能出在system prompt的重复度上。每条数据都塞同一段指令，模型很容易把它当成模板噪音，训练久了反而学会忽略它，注意力都被具体问题吸走了。我后来改成只在部分样本里加system prompt，大概三成左右，剩下七成直接裸问裸答，结果格式稳定性明显好转。另外你那个prompt可能太长了，模型在微调时对长指令的敏感度会下降，尤其是7B这种容量有限的，指令一长就容易挤占学任务本身的容量。还有个可能是你训练时把system prompt和用户输入拼在一起，但推理时调用方式不一样，比如模板没对齐或者特殊token位置错了，这种不一致会让模型直接懵掉。建议先做个消融实验，固定数据只变system prompt的比例，看格式准确率怎么动。如果实在想强约束输出，不如在解码阶段加json schema或者用约束解码，比在训练里硬塞指令靠谱得多。

我微调时也踩过这坑，system prompt最好只放推理阶段，训练数据里加了反而让模型分不清指令和内容。

有没有更详细的教程推荐？