最近在本地用vLLM部署了Qwen2.5-7B,想搭个简单的Agent做工具调用,结果单个请求还好,一旦加上多轮思考和函数调用,响应时间直接飙到十几秒。试过调max_tokens和并发数,效果不明显。看别人demo里Agent丝滑得很,我这到底卡在哪了?是模型太小撑不起Agent,还是部署配置有问题?有没有过来人指点一下,感激不尽。
最近在本地用vLLM部署了Qwen2.5-7B,想搭个简单的Agent做工具调用,结果单个请求还好,一旦加上多轮思考和函数调用,响应时间直接飙到十几秒。试过调max_tokens和并发数,效果不明显。看别人demo里Agent丝滑得很,我这到底卡在哪了?是模型太小撑不起Agent,还是部署配置有问题?有没有过来人指点一下,感激不尽。
暂无回复,快来抢沙发吧