微调后的模型做Agent，感觉推理能力变差了，是数据问题吗？

同感，踩过类似的坑。我之前微调一个7B模型做代码生成，单步任务精度从60%提到85%，但一上Agent流程直接崩——工具调用顺序错乱、上下文遗忘、甚至出现幻觉式回复。后来排查下来，问题确实出在数据上。

你用的纯问答对微调，本质是在教模型“记住答案”，而不是“学会推理流程”。Agent需要的其实是链式思维+工具调用的组合数据，比如让模型在生成SQL前先拆解需求、决定调用哪个工具、再基于返回结果修正SQL。纯问答对里没有这种“决策-行动-观察”的循环，模型自然会把微调学到的模式泛化到Agent场景里——它以为只要输出答案就行，忽略了中间步骤。

建议你试试这个思路：构造多轮Agent交互数据，每轮包含用户指令、模型思考过程、工具调用和返回结果。数据量不用太大，200-300条高质量样本就能看到效果。另外LoRA的秩不要设太高，8-16之间，防止灾难性遗忘。我后来把rank调到8，加了50条Agent交互数据，模型就基本恢复了推理连贯性。

还有个小技巧：微调时保留部分原始预训练数据（比如10%），混合训练，能缓解推理能力退化。你可以在微调脚本里加个数据混合比例参数，我经验是Agent数据:领域问答:原始预训练数据 = 3:5:2 效果最稳。

如果手头没有现成的Agent数据，可以先用现成框架（比如LangChain或AutoGPT）跑几轮，把输入输出录下来当训练样本，虽然粗糙但够用。别放弃，这个坑基本所有人都要踩一次。

这个我深有体会，纯领域问答对微调确实容易把模型教成“单步死脑筋”。核心问题在于LoRA微调会压缩注意力分布，让模型更关注局部token而忽略全局上下文。建议在微调数据里混入20%-30%的Agent轨迹样本，比如带工具调用链的SQL生成案例，让模型学会“边推理边调用工具”的节奏。另外可以试试在微调时保留原始SFT数据的10%权重，防止灾难性遗忘。

这问题挺典型的。LoRA微调本质上是在原有分布上做局部调整，如果你只用领域问答对训练，模型自然会倾向于那种“一步到位”的回复模式，反而弱化了它原本用于多步推理的注意力分配和指令跟随能力。建议你在微调数据里混入带多轮工具调用的Agent轨迹样本，比如ReAct格式的交互链，这样模型才能学会在“生成回答”和“调用工具”之间切换。另外7B参数量本身就比较吃紧，可以考虑用Qwen2.5-7B这类原生支持tool use的基座做起点。

我也遇到类似的问题，感觉纯问答式微调确实容易让模型丢掉多步推理的上下文感知能力。之前看过一些经验说，微调数据里得混入带工具调用链的完整agent轨迹，甚至用上rejection sampling来强化思考过程，不然模型会倾向于“省事”直接跳过中间步骤。你试过在数据里加一些故意让模型回溯对话的负样本吗？

这个坑我也踩过，单步问答数据和Agent多步推理的数据分布其实差别挺大的。LoRA微调如果只喂领域问答对，模型很容易把注意力集中在局部模式上，反而弱化了全局规划和上下文追踪的能力。建议试试在微调数据里混入一些带工具调用链的多轮样本，哪怕比例不高，也能帮模型保留推理骨架。另外检查一下微调时的学习率，太大了也会导致原有能力被冲刷掉。

确实遇到过类似的问题，单步任务数据微调很容易把模型锁死在“问答模式”里，导致它对工具调用和上下文衔接的敏感度下降。我后来尝试在微调数据里混入20%左右的完整Agent交互日志（包含思考链+工具调用），效果会好很多。另外注意下LoRA的rank值别设太高，不然容易过拟合到指令格式上，反而把基座模型的泛化能力带偏了。

我也遇到过类似的问题，当时用QLoRA微调了一个8B模型做代码补全，单步生成确实变好了，但一放到多轮对话或者需要调用外部工具的场景，模型就像失忆了一样，经常重复之前说过的内容或者直接忽略上下文。后来我翻了一些论文和社区的讨论，感觉问题可能出在两个方面。

第一是微调数据本身的结构。你用的领域问答对可能是“输入->输出”这种静态映射，但Agent场景下需要的是“状态->动作”的动态决策，比如“当前用户说了什么+之前已经执行了哪些工具+工具返回了什么结果->下一步该调用什么工具”。这种交互式数据如果没加入训练，模型就很难学会在推理过程中保持状态、跟踪上下文。我后来尝试在微调数据里混入一些模拟的多轮工具调用样本，就是那种包含“system prompt + 历史消息 + 工具调用 + 工具返回 + 模型回复”的完整对话，效果明显改善了一些。

第二是LoRA本身可能对模型的原有推理能力有轻微破坏，尤其是当rank比较低（比如8或16）的时候。有研究说低秩适配会压缩模型的注意力头分布，导致长距离依赖变弱。你可以试试调高rank到32或64，或者在做Agent任务时暂时把LoRA合并后的模型和原始模型做一下对比，看看是不是LoRA本身带来了推理能力下降。

另外，不知道你有没有试过在微调时加入一些“否定样本”？比如故意给一些错误的工具调用顺序，让模型学会拒绝。我之前没加的时候模型经常瞎调用工具，加了之后学会在不确定时先问用户要信息，而不是直接跳步骤。

你用的7B模型是哪个基座？不同基座对多步推理的鲁棒性差别还挺大的，有些模型微调后泛化能力掉得特别快。

这问题其实挺典型的，LoRA微调在单步任务上效果好，但一进多轮Agent场景就拉胯，核心原因大概率是微调数据本身和推理路径不匹配。

你用的领域问答对，本质是“输入-输出”的静态映射，模型学到的只是在给定上下文时直接生成答案，但Agent流程里需要的是“状态跟踪-工具选择-结果整合”的动态决策链。LoRA虽然参数改动小，但如果你在微调时完全没有保留原始模型的多步推理能力，它其实会“遗忘”之前预训练阶段学到的工具调用和记忆对齐模式，这叫灾难性遗忘的变体，尤其在7B这种小模型上更明显。

建议你直接上多轮工具调用数据，而且是带完整Agent轨迹的那种。比如每个样本包含：用户原始query、历史对话摘要、当前步骤的观察结果、模型需要选择的工具、工具返回的观察、最终答案。这其实是在做行为克隆，让模型模仿正确决策路径。可以自己构造一些合成数据，用GPT-4或者更强模型先走一遍Agent流程，把轨迹记录下来，然后过滤掉失败case，只保留推理正确的样本。

另外注意你的LoRA rank值，如果设太高（比如64以上），模型容易过度拟合单步任务，导致泛化能力下降。建议先用8-16的低rank，只微调attention层，同时保留原始模型的权重做残差连接。还有一个trick是混合训练，把原始模型的通用指令数据和你的Agent轨迹数据按7:3比例混在一起微调，这样能在不丢失基础推理能力的前提下注入Agent技能。

我自己用Qwen-7B做过类似实验，纯LoRA微调SQL数据后，在ReAct框架下工具调用失败率从15%飙升到40%，后来加了40%的Agent轨迹数据才降到22%左右。你这个方向没错，但数据配比要重新设计。

确实得加多轮工具调用的数据，单任务微调容易把通用推理能力搞偏了。