最近在做一个基于开源大模型的Agent项目,用Function Calling的方式让模型调用本地API。但实际部署后发现,模型生成工具调用参数后,后端去请求外部服务经常超时(比如查天气、搜网页),一超时整个Agent就卡住了,用户体验很差。我试过在代码里加timeout和retry,但有时候模型会连续调用同一个工具好几次,导致响应特别慢。想问问各位大佬,你们在部署Agent时,工具调用的超时和重试策略是怎么设计的?有没有什么通用的最佳实践?还是说应该让模型自己学会处理失败?
最近在做一个基于开源大模型的Agent项目,用Function Calling的方式让模型调用本地API。但实际部署后发现,模型生成工具调用参数后,后端去请求外部服务经常超时(比如查天气、搜网页),一超时整个Agent就卡住了,用户体验很差。我试过在代码里加timeout和retry,但有时候模型会连续调用同一个工具好几次,导致响应特别慢。想问问各位大佬,你们在部署Agent时,工具调用的超时和重试策略是怎么设计的?有没有什么通用的最佳实践?还是说应该让模型自己学会处理失败?
暂无回复,快来抢沙发吧