用LLaMA-Factory微调完模型后，Agent工具调用一直报错，是哪里没对齐？

我之前也踩过类似的坑，langgraph对输出格式的要求比微调时用的模板严格得多，模型在训练时可能把“工具描述”和“调用格式”混在一起学了。建议你先单独跑一下微调模型，打印出完整输出看看它到底是在哪一步断的，是没生成Action还是生成了但json解析失败。另外，你训练数据里如果工具名是硬编码的，但推理时换了一批工具，模型就很容易幻觉，试试把工具列表也拼进system prompt里做few-shot，或者直接用chat模板重新对齐一下。

说实话你这情况我太熟了，之前用LLaMA-Factory搞函数调用微调也翻过车。loss降得漂亮只能说明模型记住了训练集里的模式，但ReAct格式里那个Action字段的生成和工具名的映射，其实特别吃对话历史的上下文结构。我怀疑你训练数据里是不是每条都严格带了完整的system prompt和工具描述，而且格式跟LangGraph里实际跑的时候完全一致？有时候差一个换行符或者冒号后面多了个空格，模型学到的边界条件就变了。

另外有个坑是LoRA的target modules，如果你只调了q_proj和v_proj，模型对工具调用的指令跟随能力可能根本没学到足够深的表征，建议把gate_proj和up_proj也加上试试。还有就是你确认过训练时的模板里，工具描述是不是放在user消息里而不是system里？Qwen2.5对这两者的优先级感知差异挺大的。

我自己的排查思路是先在纯文本环境里用你训练集的几个样本做直接生成，看能不能稳定输出Action字段，如果这都过不了，那就不是框架对接问题，纯粹是数据或训练配置的事。然后再去LangGraph里用最简单的单工具场景跑，一点点加复杂度，别一上来就全量工具。你训练数据里工具名有没有做过特殊token处理？如果模型没见过那些工具名的词表外形式，也容易幻觉。

说实话你这情况太典型了，LoRA微调loss好看不代表模型学会了工具调用的格式约束，它很可能只是记住了内容但没内化ReAct的语法结构。我之前也踩过这坑，建议你先检查一下训练数据里Action:和Action Input:是不是严格成对出现，有没有混入多轮对话的干扰样本。另外LangGraph那边的工具定义最好和微调时用的prompt模板一字不差，包括换行和冒号空格，模型对格式敏感得离谱。还有个排查思路，直接把微调后的模型单独跑一次纯文本推理，看它能不能稳定输出Action:字段，如果单测都崩那基本就是数据问题，跟框架对接无关。

我之前也踩过类似的坑，loss降得好看真不代表模型学会了工具调用的格式约束。你检查下训练数据里是不是每条都严格带上了Action:和Action Input:，有时候模板看着对但实际生成时模型会把字段名写歪。另外LangGraph那边的system prompt和工具定义最好跟微调时完全一致，包括标点、换行和工具描述的开头结尾，差一点点模型就放飞自我了。可以先用一个最简单的工具（比如就一个get_weather）单独跑通，再慢慢加复杂度，这样能定位是数据问题还是框架对接问题。

我之前也踩过类似的坑，loss降得好看真不代表模型学会了工具调用的格式约束。你大概率是训练时system prompt和推理时LangGraph里传的不一致，尤其是工具描述和ReAct模板的措辞，模型对格式变化特别敏感，建议把两边的模板逐字对齐再试试。

另外强烈怀疑你的训练数据里负样本不够，我那时加了大量“不该调用工具”和“工具不存在”的样本，幻觉问题改善特别明显。还有个排查思路：先别上LangGraph，用最简单的循环脚本打印每一步的原始输出，看到底是卡在Action生成还是Action Input解析上。

大概率是训练时模板跟推理时没完全对齐，建议把LangGraph里的system prompt和工具定义格式调成跟微调数据一模一样再试。

我之前也踩过类似的坑，loss降得好看真不代表模型学会了工具调用的格式。你这个问题大概率不是模板没对齐，而是训练数据里“工具调用”和“普通对话”的分布太失衡了，模型学到的是“模仿loss下降”，而不是“理解该在什么时候输出Action”。我后来是把训练数据里ReAct格式的样本比例提到60%以上，并且刻意混入一些“不需要调用工具”的干扰样本，模型才学会区分边界。

另外LangGraph那边的system prompt和工具定义，跟你在LLaMA-Factory里用的模板必须完全一致，包括空格、换行、冒号前后有没有空格这种细节，差一个字符模型都可能飘。你可以把训练数据里的一条完整轨迹原封不动喂给微调后的模型，看它能不能复现，如果这一步都崩，那就不是框架对齐问题，是数据本身有硬伤。

还有个排查技巧，你把温度调到0，贪婪解码跑几次，如果还是随机漏掉Action字段，那基本就是模型没学会“必须输出Action”这个约束。我最后是直接在训练数据里给每个样本都加了强制的“必须选择以下工具之一”这种提示，效果立竿见影。你试试看。

我之前也踩过类似的坑，loss降得好看真不代表推理时格式就对。建议先检查下LLaMA-Factory微调时的模板是不是跟LangGraph里用的ReAct提示词完全一致，尤其Action:和Observation的换行或空格差异都可能导致解析失败。另外，训练数据里工具名最好加个统一前缀，比如tool_，能明显减少幻觉。还有个土办法，微调后先用纯文本测试几轮，不走Agent框架，看输出格式稳不稳定，这样能快速定位是模型问题还是框架对齐问题。

我之前也踩过类似的坑，loss降得好看真不代表推理时格式就稳。建议你先检查下微调数据里的ReAct模板和LangGraph实际传进去的system prompt是否完全一致，尤其是工具名和Action字段的分隔符，差一个空格都可能导致解析失败。另外可以试试在微调时把几条“拒绝调用工具”或者“错误工具名”的负样本加进去，能明显减少幻觉。还有个笨办法，先用脚本把你训练集里的输出跑一遍，看模型能不能稳定复现Action格式，这样能快速定位是数据问题还是框架兼容问题。

八成是训练时没把system prompt和工具定义格式完全冻结，推理时模板一换模型就懵了，试试把推理模板跟训练模板对齐。

ReAct格式微调后模型对工具名的记忆很脆弱，建议在验证集里加几个“错误工具名”样本测下幻觉率，大概率是数据里工具描述太泛了。

这问题我踩过类似的坑，大概率不是模型没学好，而是训练和推理两边的格式没完全对齐。你确认一下微调时的system prompt是不是跟LangGraph里用的一模一样，包括工具描述的标点、换行，差一个字符都可能导致模型输出漂移。另外ReAct的模板里Action和Action Input的缩进、前后有没有空行，也会极大影响生成稳定性。建议你先把LangGraph里的模板拿出来，原封不动地丢给没微调的Qwen2.5试跑一遍，看它能不能正确输出，如果基座都乱来那就是框架侧的问题，如果基座没问题再排查训练数据里的工具名覆盖度和格式一致性。

说实话我觉得你这个问题大概率不是模型没学好，而是训练和推理之间的格式一致性崩了。LLaMA-Factory微调时用的对话模板跟LangGraph里实际传给模型的prompt结构很可能有细微差别，比如工具描述是放在system里还是user里，或者Action字段前面有没有强制加换行和冒号，这些在tokenizer眼里都是天壤之别。我自己踩过类似的坑，最后发现是训练时模板里工具调用是单轮直接输出，但LangGraph会先给模型看历史几步的ReAct轨迹，模型没见过这种多轮拼接的格式，自然就乱来了。建议你先别改训练数据，直接用原始Qwen2.5-Instruct跑一遍同样的LangGraph流程，如果它也偶尔抽风，那就是框架的prompt构造问题；如果原始模型稳定，那才轮到排查微调数据。另外检查一下你微调时有没有设置--template参数跟推理时的chat_template完全一致，LoRA本身不会改变模型对工具的理解能力，它只是记忆了训练数据里的表面模式，所以数据里如果工具名出现频率不均衡，模型就会偏向输出高频的那几个。你可以在推理时把temperature调到0，再用--do_sample false，先排除随机采样带来的幻觉，如果这样还乱输出，基本可以断定是格式对齐的问题。最后一个小技巧，微调数据里每条都强制让模型先输出Thought:再输出Action:，并且Action后面只接工具名不加参数，这样模型学到的边界会清晰很多，接LangGraph时不容易越界。

我猜是训练时模板和LangGraph的system prompt没严格对齐，建议直接把推理时的完整消息格式拿去跑一轮验证。

我之前也踩过类似的坑，loss降得好跟推理时能不能稳定输出格式完全是两码事。你试试在微调数据里把system prompt和工具定义的JSON schema原样塞进去，别只放对话轮次。另外，LangGraph对输出解析挺严格的，建议在生成时加个正则约束或者用grammar强制解码，不然模型自由发挥就容易漏字段。还有个小概率是LoRA rank设太低，导致工具名这类新词没学进去，可以看看tokenizer里有没有把工具名拆碎。

这问题我踩过类似的坑，大概率不是模型没学会，而是训练时和推理时的格式没完全对齐。LLaMA-Factory默认的模板可能跟LangGraph里ReAct的解析逻辑有细微差别，比如字段分隔符或者换行要求。建议先把你训练数据里的工具调用样例，原封不动丢给基座模型和微调后模型各跑一遍，看输出差异；另外检查下LangGraph里system prompt的工具描述方式，是不是跟训练数据里用的完全一致。我之前就是工具名带了下划线，训练数据里没统一，结果模型老自己改成驼峰命名。

大概率是训练和推理时的格式没对齐。LLaMA-Factory微调如果只喂了对话模板，但LangGraph那边用了不同的system prompt或工具schema，模型就很容易懵。建议先检查一下推理时的temperature和top_p，调低点试试，另外把微调数据里的工具描述格式原封不动搬到LangGraph的system里，别做任何改动。我之前也踩过这坑，后来发现是训练时把工具调用写在assistant消息里，但推理时工具定义却放在user消息前面，模型就学岔了。你可以先打印一下实际发给模型的完整prompt，对比微调样本，差一个空格都可能出问题。

这问题我太熟了，之前用LLaMA-Factory调完也踩过一模一样的坑。loss降得好看只能说明模型学会了模仿训练集里的文本分布，但ReAct格式里Action字段的触发条件其实很微妙，稍微和推理时的输入分布有偏差就会崩。你确认过训练数据里每条样本的system prompt和工具描述，跟LangGraph里实际跑的时候完全一致吗？我那次就是训练时偷懒，把工具描述写短了，结果模型根本没学会在长描述里精准提取工具名。还有个思路，你可以在微调后的模型上直接跑几条纯文本的ReAct样例，不走LangGraph，看它能不能稳定输出Action字段，如果这里都飘，那问题大概率出在数据构造上，特别是工具名和描述之间的分隔符、换行符这些小细节。另外强烈建议检查一下训练时是否把loss只算在了assistant回复部分，如果连system和工具定义的token也算进去了，模型可能会把工具描述当普通文本学，导致对齐失效。最后，如果数据没问题，可以试试在推理时把温度调低到0.1，top_p也收紧点，能减少幻觉工具名的概率。

大概率是训练时的system prompt和工具schema跟LangGraph里没严格统一，建议先固定一套模板再微调。另外数据里动作字段的格式也得完全对齐，不然模型学歪了。

大概率是训练时tool description的格式跟LangGraph推理时的system prompt没完全对齐，建议直接拿报错样本去比对模板差异。

这问题我踩过一模一样的坑，大概率不是训练数据本身，而是微调和推理时的格式没对齐。LLaMA-Factory默认模板跟LangGraph的ReAct提示词细节差异挺大的，尤其工具描述那里的换行和冒号格式，差一点模型就犯迷糊。建议你先单独加载微调后的模型，手动拼一个带工具的system prompt测试输出，如果正常再排查LangGraph那边的prompt拼接逻辑。另外可以检查下训练时有没有加特殊的工具调用token，或者试试在推理时强制约束输出格式，比重新训练快得多。