最近在搞一个本地知识库的Agent项目,用的LangGraph搭的流程。一开始图省事直接调了Qwen2.5-72B的API,效果确实不错,工具调用和意图识别都挺准。但就是太慢了,一个多步任务要等十几秒,体验很拉胯。后来换成本地部署的7B模型,速度是快了,可经常把工具参数写错,或者该调工具的时候直接瞎编答案,完全没法用。
试试14B量化版,速度比72B快不少,工具调用准确率比7B强一大截,我项目就是这配置。
LLaMA、Qwen 等使用交流