用开源模型搭Agent，工具调用总翻车，是选型不对还是prompt没写好？

试试给工具描述里加上few-shot示例，Qwen对格式敏感，多给几个标准调用范例能稳不少。

这俩模型裸跑工具调用本来就不算强项，Qwen2.5对参数格式的约束感明显弱一些。你可以试试在system prompt里把每个工具的参数类型和必填项用JSON Schema写死，再给几个正常和错误的对比示例，比单纯描述有效得多。另外别死磕function calling，用带工具描述的text completion模式加few-shot，有时反而更稳。想省事的话可以直接上Qwen2.5的tool-use专用微调版，或者看看glm-4-flash，工具调用支持做得更规矩。

说实话Qwen2.5跟Llama3.1在function calling上都不算特别稳，尤其参数类型这种细节特别容易翻车。我之前用Llama3.1也是被它乱补参数折磨过，后来换了FireFunction V2或者Qwen2.5的72B版本会好很多，但本地跑又吃显存。你不如先试试把工具描述写得更死一点，比如在schema里直接写“city必须是字符串，不接受数字”，然后prompt里加一句“参数不确定就向用户确认”，能救不少情况。另外你用的温度调低点没？我设到0.1之后幻觉少了一截。

说实话你这个问题我太有共鸣了，之前用Llama3.1调工具调用的时候也差点被逼疯，参数类型错乱、漏传必填项都是家常便饭。我觉得这还真不完全是prompt的锅，Qwen2.5和Llama3.1在function calling上的原生能力本来就有差距，尤其是对复杂schema的理解，小参数模型很容易把类型约束当成装饰品。不过你既然试过ReAct模板还不稳定，不妨检查下是不是工具描述写得太抽象了，有时候把每个参数加上“比如传北京而不是beijing”这种具体示例，模型听话程度会明显提升。另外想推荐你试试glm-4-9b或者qwen2.5的72b版本，前者在工具调用上做了专门优化，后者如果显存扛得住的话，准确率比7b/8b高不止一个档次。还有个野路子，就是给模型加个“先输出JSON再解释”的强制步骤，虽然笨但有时候比花哨模板管用。实在不行就上vLLM+结构化输出约束，直接把格式焊死在解码阶段，但那就有点偏离“纯靠模型”的初衷了。你目前用的温度是默认值吗？有时候调低到0.1也能减少瞎编参数的概率。

说实话Qwen2.5和Llama3.1的function calling能力都一般，参数乱填是常见问题，尤其是中文场景下更明显。你试试换成Qwen2.5-72B或者干脆上GLM-4，对工具调用的约束会强很多。另外prompt里别光给工具定义，最好每个参数都加个示例值，模型会照着模仿。我之前也卡这，后来把工具描述写成“city: 城市名，如北京/上海”这种格式，翻车率降了一大半。再不行就自己写个简单的校验层，拦截明显错误再让模型重试一次。

说实话这俩模型裸跑function calling都不算稳，Qwen2.5对参数类型约束尤其容易放飞。你可以试试在system prompt里把每个工具的参数schema用JSON示例写死，甚至给个“宁可拒绝调用也别瞎编”的硬性指令，比单纯靠ReAct模板靠谱。另外可以看看Hermes-4或者Devstral，这俩对工具调用的对齐做得比较细，本地跑起来效果会明显好一截。

这俩模型本身就不是为工具调用深度优化的，Qwen2.5的function calling其实还行，但Llama3.1的原始版对参数约束特别容易放飞。建议你先试试把工具schema写得极简，每个参数都加枚举或正则示例，然后prompt里明确给一个“如果拿不准就反问用户”的兜底指令。要是还不行，直接换Qwen3或GLM-4.5的tool-use版，比硬调这三个省心多了。

试试把工具描述里加few-shot示例，Qwen对格式要求挺死的，我这么调完成功率明显上来了。

参数校验得自己写死，别指望模型自觉，工具描述里把约束写得更狠点试试。

我之前也被这个问题坑过，Qwen2.5在function calling上确实容易乱填参数，后来发现把工具描述写得更具体，比如在参数说明里加示例值，情况会好很多。另外你也可以试试用带tool-use微调的版本，比如Qwen2.5-Coder或者专门做agent优化的模型，稳定性会高不少。

我最近也在折腾这事，Qwen2.5的tool calling确实容易在参数类型上翻车，尤其多轮对话后更容易漂。你试过把工具schema写得更严格一点吗？比如在description里加上具体示例，甚至把非法值也列出来，模型会老实很多。还有，如果条件允许，试试glm-4或functionary这类专门调优过的，差距不是一点半点。另外prompt里别给模型太多自由发挥空间，明确告诉它“参数必须从用户输入里提取，不要自己生成”。

参数校验得自己加一层，别全指望模型自觉，工具调用前先做类型检查能省很多事。

说实话你这个情况我太熟了，当初拿Llama3.1调工具调用的时候也差点自闭。我感觉这真不完全是prompt的锅，Qwen2.5和Llama3.1原版对function calling的指令遵循能力本来就在及格线附近，尤其参数类型这种细粒度约束，它们经常“理解”但执行时就是会放飞自我。

我后来试了个偏门方法，把工具定义里的参数描述写得特别“啰嗦”，比如不光是“city: string”，而是加一句“city必须是城市名称的字符串，例如'北京'，绝对不能是数字或数组”——这样翻车率能降不少，但依然不稳定。你要是想省事，直接换专门做tool use的微调模型，比如FireFunction V2或者GLM-4-Flash的function calling版，效果立竿见影，但注意它们对中文工具名的兼容性有时会坑你。

另外你说ReAct也试过，我猜你是不是用了那种纯文本的模板？那种对模型推理能力要求很高，小参数模型容易钻牛角尖。不如试试把工具调用拆成两步：先让模型输出“意图判断”，再单独让模型填参数，用两个轻量prompt隔离错误，会比一个复杂prompt稳很多。

最后想问下你用的温度参数是多少？我之前发现调低到0.1以下，参数幻觉能明显减少，虽然创造性变差，但Agent场景本来也不靠创意吃饭。你先试试这几个方向，要是还不行，咱们再聊聊是不是你的工具schema本身有歧义。

说实话，Qwen2.5和Llama3.1在纯function calling上确实不是强项，它们更偏通用对话，对参数约束的敏感度不够。我之前跟你一样被这个坑过，后来发现核心问题不在prompt模板，而是模型本身对“参数类型”的感知就弱，你哪怕把JSON schema写得再详细，它该幻觉还是幻觉。建议你试试专门微调过的工具调用模型，比如Qwen2.5的Coder版本或者FireFunction-V2，这类模型在工具集上做了强化，参数传递的稳定性会好很多。另外，你可以在prompt里加一个“反向验证”步骤，让模型在调用前先输出要传的参数值，再自己检查一遍类型，相当于多一道自我纠错。我试过用这种思路，虽然不能百分百解决，但能把“瞎传数字”这类低级错误降低一半以上。还有个偏门但有效的办法——给每个工具强制加一个required字段，并在prompt里明确说“缺参就返回错误，不要自作主张”，这能逼着模型在犹豫时选择拒绝而不是乱填。你目前用的是什么推理框架？如果是vLLM，可以试着调低temperature到0.1以下，模型在确定性任务上会更谨慎。最后想问你一下，你发邮件那个工具，参数里有没有默认值？有时候模型觉得不传也能跑就会偷懒。

参数校验得自己写严点，别全指望模型自觉，Qwen其实够用了。

试试给工具schema加few-shot示例，或者把参数校验写进prompt里，Qwen对严格格式更敏感。

换FireFunction-v2或ToolACE这类专门调过的模型，Llama3.1裸跑本来就不太稳。

说实话这俩模型裸跑function calling都容易飘，Qwen2.5对参数类型约束比较弱，Llama3.1则经常把工具描述里的示例当默认值。我建议你先检查下system prompt里有没有把每个参数的格式、取值范围和必填性写死，最好给个JSON schema示例。另外可以试试把工具调用拆成两步：先让模型输出意图和参数，再单独校验格式，不合法就让它重新生成。真要换模型的话，可以看看Qwen2.5的72B版本或者glm-4-flash，tool use稳定性比7B/8B好不少，但本地部署得看显存。

我之前也卡在这块儿，后来发现多半是prompt里对参数格式和必填项的约束写得太宽松了，模型一自由发挥就容易瞎填。你可以试试在工具描述里把每个参数的类型、取值范围和示例都写死，甚至给个“不明确就拒绝执行”的指令，会稳很多。另外Qwen2.5对function calling的支持其实还行，但Llama3.1原生这块偏弱，建议换个专门微调过tool use的模型，比如FireFunction-V2或者Gorilla，效果立竿见影。

说实话这俩模型做function calling都不算强项，尤其llama3.1对中文指令的参数约束更松。建议先试试把工具描述写得更死板一点，比如“city必须是字符串，禁止数字”这种明确否定句，比正着说管用。另外可以看看glm-4-flash或者qwen3的function calling版本，这俩对工具调用的稳定性明显好一截。

这俩模型原生tool calling能力确实偏弱，Qwen2.5对参数类型约束经常不敏感。你试试把工具描述写得更强制点，比如“city必须为字符串，严禁数字”这种明确指令，另外few-shot里多塞几个错误修正的例子。另外可以看下GLM-4和FireFunction V2，这俩是专门为function calling优化过的，我最近也是从Llama3.1转过来的，稳很多。