最近在做一个能查天气、搜网页、算数的Agent,用的ReAct框架。一开始zero-shot跑得还行,虽然偶尔格式不对但至少工具选得对。后来看教程说加Few-shot能提升稳定性,我就在system prompt里塞了3个完整示例,结果现在模型经常把示例里的工具名硬套到新问题上,比如用户问“北京今天热吗”,它直接调搜索工具,明明该用天气API。试过减少示例数量到1个,格式又稳不住了。有没有大佬遇到过类似情况?是我示例写法有问题还是模型本身对Few-shot的泛化就这样?
最近在做一个能查天气、搜网页、算数的Agent,用的ReAct框架。一开始zero-shot跑得还行,虽然偶尔格式不对但至少工具选得对。后来看教程说加Few-shot能提升稳定性,我就在system prompt里塞了3个完整示例,结果现在模型经常把示例里的工具名硬套到新问题上,比如用户问“北京今天热吗”,它直接调搜索工具,明明该用天气API。试过减少示例数量到1个,格式又稳不住了。有没有大佬遇到过类似情况?是我示例写法有问题还是模型本身对Few-shot的泛化就这样?
暂无回复,快来抢沙发吧