微调后的模型做Agent工具调用，效果反而不如原版，咋回事？

这现象我太熟了，之前用Qwen做类似实验也栽过跟头。其实问题很可能出在训练数据的构造方式上，几百条样本里如果简单任务占多数，模型就会把“输出格式”当成最高优先级的模式去学，而复杂任务里的推理链条反而被当成了噪声。LoRA微调本质是在压缩任务空间，一旦你的工具调用数据里没有刻意平衡多步推理的样本，模型自然就学会了“偷懒”——直接套用最常见的工具组合，而不是真的去理解用户意图。

另外我猜你微调时的loss可能没分开看，格式准确率和步骤完整性往往是两个维度，前者收敛得飞快，后者可能压根没怎么下降。建议你把复杂场景的数据单独抽出来，哪怕只有几十条，做一次二次微调或者干脆用DPO去强化“不遗漏步骤”的行为。还有一个坑是参数设置，LoRA秩数如果太小，模型根本记不住工具间的依赖关系，你试着把秩调到64以上，或者加几层全连接层专门处理工具序列试试。

说到底，原版模型虽然格式乱，但它至少还保留着基座模型的推理先验，微调就像给模型戴了副“格式眼镜”，镜片度数不对反而把远处的逻辑给看糊了。要是实在调不回来，可以试试先让模型输出推理草稿，再单独用一个轻量分类器决定要不要调用工具，把“想”和“做”彻底拆开。

几百条数据做LoRA确实容易过拟合到工具调用的格式上，把原来的推理能力带偏了。我碰到过类似情况，后来把工具调用数据和通用指令数据混在一起训，比例大概1:2，复杂任务的表现就好很多。另外可以试试只微调输出层附近的模块，别动太多底层权重。

几百条数据做LoRA确实太少了，而且工具调用这种任务本身就容易让模型过拟合到格式上，把原来的推理能力给带偏。我上次也是类似情况，后来把多步调用的样本比例加大，再混一些通用指令数据进去，才稍微好点。你可以试试先别急着微调，用few-shot prompt把格式约束住，反而更稳。

几百条数据做LoRA确实容易这样，格式是学到了，但模型原来的指令跟随和推理能力被带偏了。我踩过类似的坑，后来把工具调用的样本混进通用指令数据里一起训，比例大概1:3，效果好不少。另外你检查下训练集里多步调用的样本够不够，如果全是单步的，模型根本没见过链式场景，自然就乱来了。实在不行试试只在输出层加适配器，别动中间层，对原能力的破坏会小一些。

几百条数据做LoRA确实容易这样，模型可能只是记住了工具调用的“格式模板”，但没真正学会多步规划。我一般会把复杂任务拆成子步骤一起训进去，让模型见到“先A后B”的样本，不然它只学会单次调用就收工了。另外可以试试在推理时加个规划提示，先让它列出步骤再执行，能缓解不少。