用MCP微调Llama时，工具调用老是崩，有谁踩过这个坑？

同踩过这个坑，后来发现工具描述里参数类型和枚举值写太简略确实会导致格式乱飘，建议把每个参数的格式、约束、示例都塞进description里。另外微调数据里工具调用轮次至少得5轮以上，不然模型学不会连续调用的上下文件切换，后处理加个正则校验参数结构也能拦住不少错。

同样踩过这个坑，后来发现工具描述字段里加个具体的json schema示例比纯文字描述管用很多，模型对格式的敏感度比想象中高。另外微调数据里工具调用轮次确实不能太少，我试下来至少3轮以上的多轮调用样本才能让模型稳住，单轮的在复杂场景下特别容易崩。后处理也可以加一层正则校验，强制把模型输出转成标准json格式再调用工具，能救回不少异常情况。

我之前也遇到过类似情况，后来发现MCP的工具描述里如果少了参数类型约束或者示例，模型很容易瞎猜。建议你在微调数据里多塞几个连续工具调用的例子，让模型熟悉轮次切换的逻辑。另外后处理时可以加个正则校验，强行修正调用格式，比单靠模型输出靠谱点。

工具描述里最好加few-shot示例，光靠文字描述模型容易懵。另外微调数据里工具调用轮次至少得3轮以上效果才稳。

我试过把工具描述改成更详细的JSON格式，效果好了不少，你可以试试看。

同款坑踩过好几次，我一开始也是参数格式乱七八糟，后来发现MCP的tool描述里一定要把每个参数的type和description写得很细，尤其是枚举值得列清楚，模型对隐式约束的理解很差。你用的tgi和vllm后端，可以试试在system prompt里强行加一段工具调用格式的示例，甚至把JSON schema直接贴进去，比单纯靠微调数据里的几个轮次管用。另外我怀疑你的微调数据里工具调用轮次可能确实少了，我自己的经验是至少得每个工具配20轮以上的多步调用，单轮调用模型很容易学成“只输出工具名”的坏习惯。后处理方面，可以搞一个简单的正则校验，把不符合JSON格式的输出直接踢回重采样，配合低temperature（0.1左右）能减少乱编。还有个小trick：把工具描述里的“example”字段换成实际调用中会出现的真实参数值，模型更容易对齐。你可以先拿一个最简单的工具（比如加法计算）调通数据流，再逐步加复杂工具，这样排查问题快很多。

这坑我也踩过，工具调用崩很大概率是数据里工具描述的格式和推理时用的模板没对齐，MCP那套描述字段如果太简短，模型确实容易忽略。建议你把工具调用轮次增加到5轮以上，并且每次调用后都给个明确的成功或失败反馈样本。后处理方面，可以加个正则校验，先截取到第一个合法工具调用就停，别让模型自由发挥。