大模型本地部署后做Agent，感觉prompt调优比模型选择还难？

我这边也是Ollama跑Qwen2.5做Agent，同感。工具返回的JSON被当文本吐出来这事我遇到过，后来把tool response包了一层明确的role标记，再在system里强调“收到tool结果后必须先输出thought再调下一步”，好了不少。不过14B确实比7B稳，但也没到质变。你可以试试LangGraph把流程拆成状态机，比纯靠prompt约束靠谱点。

试试vLLM部署加function calling模板，Ollama对工具调用支持确实拉胯，换完能省一半调prompt时间。

我最近也在本地搞类似的东西，用Qwen2.5 7B跑工具调用，确实感同身受。你提到的那个JSON被当普通文本回复的问题，我遇到好几次了，后来发现换个思路会好很多，就是别让模型自由发挥输出格式，直接用框架自带的structured output或者function calling的schema约束，LangChain里可以用Pydantic定义好参数结构，让它必须按格式填，比在prompt里反复强调“只输出JSON”靠谱得多。另外7B和14B的差距在纯对话上不明显，但一到多步推理和工具选择上就拉开了，14B基本能稳住，7B经常在第二步就开始幻觉字段名。还有个坑是Ollama的chat template有时候跟模型训练时的格式对不上，tool calling的token特别容易错位，建议去模型卡里对一下template，或者干脆用vLLM跑，工具调用的兼容性好不少。prompt这块我现在尽量精简，把工具描述写清楚、参数示例给一两个就够了，写太多反而干扰模型判断。你要是还没试过，可以看看LangGraph，它对多步Agent的状态管理比纯LangChain清晰，调试起来能省不少时间。

同感，本地模型tool calling确实容易翻车，尤其7B级别的，格式稍微偏一点就自说自话。我后来换成了强制JSON schema输出，配合outlines或者llama.cpp的grammar约束，稳定性好了不少。另外LangChain那套agent executor本身也挺脆的，建议直接手写调度循环，把工具返回和模型输出分开处理，别指望它自己分得清。说白了就是别让模型自由发挥，能约束的地方全给它焊死。

这个问题我太有同感了，本地跑Agent最折磨人的就是tool calling的格式对齐。我后来发现Qwen2.5对function call的模板其实挺敏感的，你用官方chat template会稳很多，别自己手搓system prompt。另外建议试试强制让它输出结构化JSON，再用输出解析器兜底，别指望模型每次都乖乖听话。LangChain的AgentExecutor本身也挺容易把工具结果当文本吐出来，换成LangGraph自己控制流程会清晰不少。

我最近也遇到类似情况，工具返回的内容格式稍微不对，模型就开始自由发挥。后来发现用JSON schema约束输出，再配合few-shot示例，稳定性提升不少。另外建议试试LangGraph，它对tool calling的流程控制比纯LangChain更清晰，能减少模型瞎编字段的概率。

换框架不如先上结构化输出约束，让他按schema吐JSON，比调prompt稳多了。