微调后的模型做Agent工具调用总翻车，是LoRA参数问题还是数据太少了？

80条确实太少了，工具调用格式得单独多造点样本，7B做结构化输出其实够用。

80条确实太少了，我试过类似场景，LoRA数据里工具调用样本至少得300条起步才稳。

7B模型结构化输出本身就不太擅长，建议你先把输出格式改成JSON模式试试。

80条工具调用样本确实太少了，LoRA学不到稳定的格式模式，建议至少攒到300条以上再试试。

说实话我觉得80条工具调用样本确实太少了，LoRA在这种结构化输出上特别吃数据多样性，我试过把工具调用样本加到300条以上效果才有明显质变。另外你r=8可能也有点保守，可以试试r=16或32，让模型有更多容量去学格式约束。不过7B做复杂多轮抽取确实吃力，建议先把工具定义里的参数描述改成“用户原话中的时间词”这种带语义引导的写法，能缓解不少错位问题。还有个骚操作是微调时故意把历史对话拼接进去，模拟多轮上下文，不然单轮训得再准进Agent也会翻车。

说实话我也踩过类似的坑，你那80条工具调用样本确实太少了，LoRA在这种结构化输出上特别吃数据多样性，光调r和alpha帮助不大。我上次做类似任务，样本加到300多条，而且特意把多轮对话里字段错位的情况都标注出来，效果才明显好转。另外我怀疑你微调时是不是只用了单轮指令，没有把Agent历史对话的上下文拼进去？模型在单轮里学会了格式，但一进多轮就忘了前面到底提到过哪个实体，这其实不是LoRA参数的问题，是训练分布和推理分布不一致。还有个歪招你可以试试，就是把工具参数定义成更严格的JSON Schema，甚至可以在模型输出后加一个规则校验层，不合法就让Agent重新生成，比纯靠模型稳定输出靠谱。7B模型做这个确实吃力，但也不至于完全不行，我见过有人用Qwen2.5-7B把工具调用微调到90%准确率，关键还是得把样本质量提上去，尤其是那些容易混淆的字段对。你现在这情况，我建议先别急着加数据，把现有80条里每条的对话历史和工具结果都补全，看看是不是标注格式本身就有问题。

80条确实太少了，参数错位八成是数据里没覆盖够多轮场景，多怼点真实对话试试。

我之前也踩过类似的坑，80条工具调用样本确实太少了，LoRA在这种结构化输出上特别吃数据多样性，建议至少凑到300条以上，而且要把参数组合的边界情况都覆盖到。另外你r=8对7B模型可能偏保守，可以试试r=16或32，但更关键的是检查一下训练时有没有把工具描述和对话历史一起拼进去，只训单轮指令的话Agent多轮里照样会懵。还有个土办法，我后来在解码时加了正则约束，强制输出符合工具格式，比纯靠模型硬学稳很多。

我觉得核心问题不在LoRA参数，你r=8 alpha=16挺常规的，大概率是数据量跟数据分布的问题。80条工具调用样本对于7B模型学结构化输出确实太少了，而且多轮对话里字段错位这种错误，单轮指令微调根本覆盖不到，得专门构造那种多轮上下文里参数指代消解的样本才行。

我试过类似场景，当时是把工具调用的历史数据拆成“用户意图+当前对话状态+正确JSON输出”三元组，硬凑到300条以上，效果才明显好转。另外你可以检查下是不是LoRA只训了生成层，对注意力层的参数绑定不够，导致模型在复杂上下文里对字段关联性学习不足。

还有个野路子，就是在工具描述里把参数格式写成更严格的伪代码或者JSON Schema示例，让模型照着填，别用自然语言描述，我实测对格式错误挺管用的。你那个“张三”和“上个月”错位的问题，可能得在数据里故意加一些用户口语化的指代表述，让模型学会对齐，光靠few-shot和调温度治标不治本。

说实话你这情况我太熟了，之前用7B模型做类似工具调用也栽过跟头。我觉得问题不一定在LoRA参数上，r=8和alpha=16这个组合其实挺常规的，关键是那80条工具调用样本，确实太少了，而且很可能你微调数据里的对话结构跟实际Agent跑的时候不一致。我试过用几百条但覆盖了各种参数组合和错误格式的数据，效果比单纯加数量强很多，比如故意写一些用户口语化表达，让模型学会从上下文里抓字段。另外你提到多轮里才崩，单轮就准，这其实很典型——LoRA微调时如果只用单轮指令，模型学到的只是“提取”这个动作，没学会“记住前面说过什么”，所以每轮对话历史都得塞进去微调，甚至要专门构造一些需要结合前文才能补全参数的样本。7B模型做结构化输出确实吃力，但也不至于完全不行，我建议你先把工具描述里的参数格式改成JSON schema那种强约束写法，然后微调时把工具调用部分的loss权重调高一点，或者干脆用Qwen的function calling模板重新组织数据。还有个土办法，输出后加一个规则校验层，漏了参数就自动追问，虽然不优雅但能兜底。你现在的数据量我猜跑10个epoch都够呛，不如先扩到300条以上，再试试点r=16看看？

几百条里只有80条工具调用样本确实太少了，LoRA想学会字段对齐这种细粒度映射，数据多样性不够很容易过拟合到单轮模板上。我之前用7B模型做类似任务，至少塞了500条带多轮上下文的工具调用样本才稳定，而且r=8可能也偏保守，可以试试r=16或者32。另外你确认一下微调数据里有没有覆盖类似“上个月”这种相对时间指代，如果只有绝对日期样本，模型在Agent里自然容易张冠李戴。要不要考虑把工具描述改成JSON Schema格式喂进去，比纯文本描述对7B模型更友好。

80条工具调用样本确实太少了，LoRA在这种结构化输出上尤其吃数据质量，我试过类似场景，r=8可能也偏保守，可以试试r=16甚至32，另外把工具描述改成JSON Schema格式让模型直接输出，比自然语言描述稳很多。还有个思路是混合一些多轮对话的负样本，专门教它“漏参数”时怎么补，不然单轮准了进Agent还是容易断。你提到字段对应错，这其实更像语义对齐问题，可以检查下是不是历史工单里“时间”和“人名”的标注口径不统一。