最近在做一个客服场景的Agent，基座用的Qwen2.5-7B，LoRA微调了大概5k条工具调用数据。训练loss降得挺好，单轮测试也没问题，但一放到多轮对话里就出幺蛾子——模型经常在第三四轮之后突然不输出function call的JSON了，直接开始用自然语言瞎编答案。试过调temperature、加了格式约束的system prompt，效果都不稳定。想问下做过Agent微调的朋友，这种多轮场景下工具调用格式遗忘的问题，是数据配比的问题还是需要加RL阶段？有没有什么排查思路……
最近在做一个客服场景的Agent，基座用的Qwen2.5-7B，LoRA微调了大概5k条工具调用数据。训练loss降得挺好，单轮测试也没问题，但一放到多轮对话里就出幺蛾子——模型经常在第三四轮之后突然不输出function call的JSON了，直接开始用自然语言瞎编答案。试过调temperature、加了格式约束的system prompt，效果都不稳定。想问下做过Agent微调的朋友，这种多轮场景下工具调用格式遗忘的问题，是数据配比的问题还是需要加RL阶段？有没有什么排查思路……
暂无回复，快来抢沙发吧