用MCP微调Llama时，工具调用老是崩，有谁踩过这个坑？

这坑我太熟了，之前用vllm跑也这样，后来发现多半是数据里工具描述的格式和推理时system prompt没对齐，模型根本没学会“该在什么时候调工具”。你可以试试把工具定义写得更啰嗦点，每个参数都带示例值，然后微调数据里多塞几轮“先调用再总结”的完整对话，光靠调采样参数真救不回来。另外后处理那边最好加个正则校验，参数格式不对就强制重试一次，别直接让模型自由发挥。

大概率是数据里工具调用轮次太少，模型没学会格式，建议把多轮工具调用拆开反复喂，别一股脑塞。

也可能是MCP描述字段里缺了参数类型示例，加几个具体值进去让模型抄作业，会稳很多。

八成是数据里工具调用轮次太少，模型没学会格式，多塞点带多轮工具切换的样本试试。

我之前也卡在这块儿过，后来发现不光是描述字段的问题，微调时如果只在对话末尾放一次工具调用，模型根本学不会多轮交替的格式。建议你把工具定义和调用结果都拆成独立的user/assistant轮次，模拟真实调用链，数量至少翻一倍试试。另外vllm那边对function calling的post-processing有坑，有时候模型输出对了但解析器不认，建议你直接看原始输出log，别只看最终结果。

这坑我太熟了，之前用vllm跑也是疯狂瞎编工具名。你试试把系统提示里的工具描述改成JSON Schema那种带strict模式的结构，光靠自然语言描述模型根本抓不住边界。另外微调数据里单轮对话的工具调用至少得占60%以上，不然它学不会“先调用再回答”这个顺序逻辑。后处理那边记得写个正则校验，参数对不上就直接重采样，别指望模型自己改错。

八成是工具描述和真实调用格式没对齐，试试在system prompt里塞几个带完整参数的few-shot样例。

数据里单轮工具调用得多来几轮，让模型把“看到描述→输出JSON”这个映射练熟了。

我也遇到过类似情况，后来发现光靠temperature和top_p确实救不了，得从数据入手。你可以在微调数据里多加一些“错误示范”和“正确示范”的对比样本，让模型学会区分啥时候该调工具、啥时候不该。另外MCP那个工具描述字段最好写得详细点，把参数类型和约束条件都写清楚，模型对字段名很敏感。还有个trick是推理时加一层后处理校验，参数格式不对就强制重试或者回退到默认回答，能减少不少胡编的情况。