最近在微调一个7B的基座模型，任务是要让模型能根据用户的问题和上下文，输出结构化的JSON回复。我在训练数据里每条都加了类似的system prompt，比如“你是一个专门处理XX任务的助手，请严格按照以下JSON格式输出……”。结果微调完一测，发现模型输出质量反而比没加system prompt的版本差很多，经常漏字段或者格式乱掉。
我有点懵，本来以为加system prompt能更好地约束输出，没想到适得其反。是不是system prompt在微调时不该出现在每条数据里？还是说我的prompt写得不够简洁？有没有大佬分享下微调时关于system prompt的实践经验，比如数据构造方式、是否保留、或者用instruction模板替代？谢谢。