最近在搞一个本地知识库的Agent项目,用的LangGraph搭的流程。一开始图省事直接调了Qwen2.5-72B的API,效果确实不错,工具调用和意图识别都挺准。但就是太慢了,一个多步任务要等十几秒,体验很拉胯。后来换成本地部署的7B模型,速度是快了,可经常把工具参数写错,或者该调工具的时候直接瞎编答案,完全没法用。