最近在用LLaMA-Factory微调一个7B模型做Agent，主要是想让它学会调用天气查询和计算器这两个工具。训练数据大概2000条，格式用的是ReAct那种Thought/Action/Action Input的模板。微调完loss降得挺好，但实际推理时模型经常直接输出答案，不按格式调工具，偶尔调了也是参数乱填。试过调temperature和top_p，效果不明显。想问下各位大佬，这是数据量不够还是格式没对齐？有没有类似经验的指点一下方向？
楼主
19天前
微调后的模型做Agent工具调用，为什么总是忘记调用格式？
请 登录 后发表回复
全部回复
共 1 条
2楼
17天前
2000条做ReAct微调确实有点紧，尤其工具调用这种强格式任务，模型很容易退化成直接回答。我踩过类似的坑，后来发现光靠SFT不够，得混一部分纯格式对齐的样本进去，比如只训练输出Action那一段，让它先把模板刻进脑子里。另外你推理时的prompt是不是跟训练时完全一致？差一个空格或者换行都可能让模型懵掉。建议先拿训练集里的样本原样跑一遍推理，如果都对但新问题就崩，那基本是泛化问题，得加数据或者上DPO。