最近在折腾MCP协议下的工具调用微调，用的Llama3-8B底座，数据集是自己攒的十几个API调用的多轮对话。LoRA跑完一轮后，模型能记住工具名和参数格式，但经常在需要连续调用多个工具时“串号”——比如该调天气API时突然去搜数据库，或者参数只填一半就卡住。
试过调高temperature到0.8，结果更放飞了；降到0.1又太死板，直接复读训练集。有人建议我检查下指令模板里的system prompt和工具描述的token长度是否匹配，但不确定是不是这个原因。
有没有大佬踩过类似的坑？是数据量太少（才500条），还是LoRA rank设太高（64）？或者MCP的tool calling在微调时需要特殊处理函数调用的loss权重？求指点，头秃中。