最近在搭一个企业级RAG系统,用的langchain框架,知识库主要是PDF和word文档。现在卡在embedding模型选型上,试了bge-large-zh和text2vec-base-chinese,感觉bge检索准确率稍高但推理速度慢,text2vec快一点但中文长文本分块后召回率有点拉胯。目前服务器是单卡T4,16G显存,想兼顾速度和效果,有没有老哥实际部署过?另外,如果混合使用不同embedding模型做多路召回,对后续rerank的延迟影响大吗?求分享踩坑经验,感谢!
最近在搭一个企业级RAG系统,用的langchain框架,知识库主要是PDF和word文档。现在卡在embedding模型选型上,试了bge-large-zh和text2vec-base-chinese,感觉bge检索准确率稍高但推理速度慢,text2vec快一点但中文长文本分块后召回率有点拉胯。目前服务器是单卡T4,16G显存,想兼顾速度和效果,有没有老哥实际部署过?另外,如果混合使用不同embedding模型做多路召回,对后续rerank的延迟影响大吗?求分享踩坑经验,感谢!
暂无回复,快来抢沙发吧