微调后的模型做Agent，感觉推理能力变差了，是数据问题吗？

数据里没Agent轨迹，纯问答对微调肯定把推理链带偏了，建议混入多轮工具调用样本试试。

LoRA微调容易让模型记住格式但丢掉泛化，你试试在指令里强调历史上下文，或者干脆冻结更多层。

这个问题我太有同感了，之前用QLoRA微调一个6B模型做代码生成，单轮测试分数涨得挺好看，结果一上多轮工具调用直接崩，连最基本的“上一步查询结果”都能忘。我后来仔细对比了基座模型和微调模型的输出logits，发现LoRA确实在改变注意力分布，尤其是对历史token的权重衰减得特别快，感觉就是微调时把“记忆能力”给覆盖掉了。

你用的纯问答对大概率是主因，因为这类数据都是“输入-输出”的强映射，模型学的是局部模式匹配，而不是维持一个持续的推理状态。我后来加了大概2000条带工具调用的多轮轨迹数据，甚至包括一些故意让模型“犯错再纠正”的样本，效果立刻不一样了。另外还有个细节，你可以在微调时把对话历史的loss权重调低一点，或者干脆冻结部分底层注意力层，只调上层任务头，这样能保住一些通用推理能力。

不过我也没完全解决，7B模型在长上下文下的隐状态漂移还是明显，后来我换成把工具调用结果显式拼到下一轮输入里，而不是靠模型自己记忆，才稍微稳住了。你试试看是不是也这样？

大概率是数据问题，纯问答对微调会压缩推理多样性，得掺些带工具调用的轨迹数据才能保住Agent能力。

我之前也踩过这坑，后来加了少量多轮交互样本，效果立马不一样了。

大概率是数据问题，纯问答对把模型带偏了，建议混些带工具调用的多轮轨迹再训。

我也踩过类似坑，后来加了20%的Agent交互样本，推理能力基本就回来了。

你这个情况我遇到过，LoRA微调确实容易把模型“带偏”，尤其是纯问答数据会让它过度拟合单轮模式，把推理链和工具调用的上下文给冲淡了。我后来加了一些带工具调用的多轮对话样本，哪怕数量不多，效果也明显回来了，建议你试试把Agent轨迹数据混进去。另外7B模型本身推理上限就有限，微调时学习率调低点，别让它太“自信”地忽略历史信息。

这问题太典型了，LoRA微调确实容易把模型“带偏”，因为纯问答数据会让模型只学输出格式，反而把基座模型在Agent任务里最需要的指令跟随和长上下文注意力给稀释了。我之前试过类似情况，后来在训练数据里混了20%带工具调用的多轮轨迹，哪怕简单点，效果立刻不一样。另外你检查下微调时的损失是不是在对话历史部分也降了，有时候模型直接学会无视旧信息来偷懒。建议先跑几个不加微调的基座对比下，确认是数据分布问题还是超参影响。

这问题我太熟了，之前用LoRA微调7B模型做代码生成也踩过一模一样的坑。单轮能力上去了，但多轮对话里经常把之前的工具调用结果忘得一干二净，后来发现是微调数据里根本没带对话历史上下文，模型自然学不会“记忆”。你光喂问答对确实不够，得把Agent交互轨迹，比如带工具调用和中间结果的完整轮次，混进去一起训练，不然推理链就被带偏了。另外建议试试在微调时保留一部分原始通用数据，比例大概3：1，能缓解灾难性遗忘，效果会明显稳一些。

这问题我太有同感了，之前用QLoRA调一个6B模型做代码生成也是这个路子，单轮评测指标刷得贼好看，一上多轮工具调用直接原形毕露。我觉得核心问题可能不在微调本身破坏了推理能力，而是你喂的数据结构太“干净”了，全是问答对，模型学到的是“输入问题-输出答案”的捷径，根本没机会接触“需要先查个表再决定下一步”这种交互模式。你想啊，Agent流程里每一步的输出不只是最终答案，还得包含对状态的判断、对工具的调用意图，这些在你的数据里压根没有，模型自然就默认走最省事的短路路径了。我后来试过在训练集里混入20%的带工具调用的多轮轨迹，哪怕只是简单模拟几轮，效果就明显不一样，上下文遗忘的情况少了很多。另外还有个坑，就是训练时loss可能过度聚焦在生成SQL的token上，导致注意力被带偏了，你可以试试把loss在工具调用和状态跟踪的关键token上加权重。还有就是推理时的温度、top_p这些参数，微调后往往要重新调，模型分布变了，原来的采样策略可能就不匹配了。总之先别怀疑基础能力，大概率是数据分布和任务结构不匹配，建议你搞点带思维链或ReAct格式的样本补进去，哪怕量少点也管用。

确实大概率是数据问题，纯问答对会把模型带偏成“单发模式”，得混入带工具调用的多轮轨迹数据微调才行。

可以试试把Agent的完整思考链和工具调用记录加进去，不然LoRA只顾着记住领域知识，原来的推理路径就被覆盖了。

大概率是数据问题，纯问答对把模型带偏了，得混入多轮工具调用的样本才行。

我之前也踩过这坑，加20%的agent轨迹数据后，推理链明显稳多了。

大概率是数据问题，纯问答对微调会挤压通用推理能力，得混入带工具调用的多轮轨迹数据才能保住Agent性能。

我之前也踩过这坑，加了些人工写的agent交互样本进去，效果立马不一样了，建议试试。

这问题我太有同感了，之前拿Llama做类似的事，单轮SQL生成确实漂亮，一丢进多轮工具调用里就露馅。我觉得核心问题大概率不在LoRA本身，而是你喂的数据形态太单一了。领域问答对教的是“知识”，不是“行为”，模型学到的只是把输入映射到输出，但Agent流程里需要的是对“状态”的敏感度——比如“刚才查了用户表，现在该查订单表”这种隐式依赖，普通问答对根本体现不出来。你试试往数据里混一些带工具调用轨迹的样本，哪怕是模拟的，让模型见过“先调A工具拿结果，再基于结果调B工具”这种模式，效果会差很多。另外一个小坑：7B模型本身工作记忆就有限，LoRA如果只调最后一两层，可能把原本保留上下文的能力也挤掉了，建议对比一下微调前后在长对话上的困惑度变化。还有个怀疑，你的数据里有没有夹杂一些“跳过工具直接回答”的错误示范？模型可能学歪了，以为直接给答案更讨喜。总之别慌，先加几十条手工标注的多轮Agent轨迹数据，比堆一千条问答对管用。

我之前也踩过类似的坑，一开始以为LoRA只改权重不会动底层的推理链，后来发现其实是数据分布把模型“带偏”了。你只喂问答对，模型学到的模式就是“看到问题直接给答案”，它压根没机会练“先调工具、再整合信息”这个动作，所以一到Agent里它就本能地走捷径。我后来试过在微调数据里混入20%左右带工具调用的多轮轨迹，哪怕是模拟出来的假工具，效果都明显不一样，模型会重新学会“停顿一下再回答”。另外还有个细节，你微调的时候如果学习率设太高或者训练轮数太多，会有灾难性遗忘，7B模型尤其敏感，建议检查下原模型在通用推理benchmark上的分数掉没掉。还有个思路是干脆不微调主模型，单独训练一个小的偏好模型或者用few-shot提示词来引导，把领域知识放在检索或规则层，这样Agent的推理链能保住。说到底，微调数据里如果没有“决策点”——也就是该调工具时不调、该记忆时不记的负样本——模型根本不知道哪些场景需要推理，它不是变笨了，而是被你教成了另一个任务。你可以先做个实验，拿原模型和微调模型跑同一个多步任务，对比一下在哪一步开始分叉，大概率是第一步该调工具时就断了。

单纯喂问答对确实会带偏推理链路，得混入带工具调用的多轮轨迹数据才行，不然LoRA就把Agent能力给覆盖了。

这个坑我熟，之前用LoRA微调Qwen做代码生成也翻过车。单轮任务看着挺准，一上多轮就暴露了，模型把微调时学到的“标准答案”模式带进了Agent，反而丢了原有的指令跟随和上下文衔接能力。建议你在微调数据里至少混入20%-30%的带工具调用轨迹的多轮对话样本，让模型重新学会“边想边调”的节奏，不然它很容易把工具结果当成垃圾信息直接忽略。另外检查下LoRA的rank值是不是设太高了，过拟合领域数据会压缩通用推理空间，r=16试过没？

这问题我也遇过，纯问答对微调确实容易把推理链带偏，建议混点带工具调用的轨迹数据进去再试试。

我之前也遇到过一模一样的情况，LoRA微调在单轮任务上效果拔群，一进多轮Agent就崩。个人感觉核心问题确实在于微调数据太单一了，模型把“领域知识”和“对话策略”混在一起学，但Agent流程里对推理链完整性的要求远高于单步准确率。你试试在数据里混入一些带工具调用和状态追踪的样本，哪怕数量少一点，效果可能都会差很多。另外7B模型本身的记忆窗口就有限，微调时如果没刻意保留这类能力，权重偏移后确实容易退化。可以对比一下微调前后在同样多轮任务上的loss，看看是不是灾难性遗忘。

这个情况我太熟了，之前用QLoRA调一个8B模型做代码生成，单测全过，一上多轮工具调用就崩，跟你描述的一模一样。核心问题不在于LoRA本身破坏了推理能力，而是你喂的数据形态决定了模型的行为模式。你那些问答对本质上是“输入-输出”的短程映射，模型学的是单步响应，根本没接触过“历史状态+当前意图+工具返回值”这种复合输入结构，它当然不会主动维护对话状态。我后来试了两件事，效果立竿见影：一是把微调数据里至少30%改成真实Agent轨迹，就是那种包含system prompt、用户query、工具调用序列、观察结果、最终回复的完整log，让模型学会在上下文中检索关键信息；二是用“对话级打包”的方式训练，比如把连续5轮交互拼成一个样本，而不是每条独立。另外有个细节，如果你用LoRA，注意target_modules别只盯着q_proj和v_proj，试着把o_proj和gate_proj也加上，不然模型对指令的敏感性会退化。你现在的数据里如果有那种“标准答案”太强的样本，模型会把所有输入都往那个答案上靠，反而忽略了工具返回的真实内容，这也是一个坑。建议你直接扒几个开源Agent数据集的格式，比如ToolBench或者API-Bank，哪怕只抽几百条风格一致的样本混进去，都比纯问答对强得多。

这问题我太有同感了，LoRA微调确实容易把模型“带偏”，尤其是在纯问答数据上练出来的，它会把所有输入都当成单轮指令来响应，压根没学会维护状态。你试试在微调数据里混入带工具调用轨迹的多轮对话样本，哪怕只有几百条，效果都会不一样。另外也可以考虑冻结更多底层参数，只调高层，或者把学习率再压低一点，能减少对原有推理能力的破坏。

这个现象挺典型的，LoRA微调本质上是在压缩模型对特定任务的注意力，单步准确率上去了，但全局规划能力确实容易被牺牲掉。你用的纯问答对数据等于在教模型“直接给答案”，没有给它练习“先思考再行动”的轨迹，所以多步推理时它自然想走捷径。建议你试试把Agent的完整交互轨迹（包括工具返回结果和中间推理）也混进微调数据里，比例大概三成到四成，我试过这样能明显缓解退化。另外，微调时把学习率调低一点，或者只微调部分层，也能减少对基础能力的冲击。