最近在搭一个简单的RAG demo,用来做内部文档问答。我用的是bge-small-zh模型,向量维度384,存到Milvus里。但发现有时候召回的结果不太准,比如用户问“报销流程”,召回的前几篇里有一篇是讲“请假流程”的,语义上差得挺多。想问下大家,是不是384维太低了?换成768或者1024会好很多吗?还是说我应该换一个模型或者调一下检索参数?另外,维度高了存起来是不是也慢很多?有点纠结,求各位大佬指点一下。
最近在搭一个简单的RAG demo,用来做内部文档问答。我用的是bge-small-zh模型,向量维度384,存到Milvus里。但发现有时候召回的结果不太准,比如用户问“报销流程”,召回的前几篇里有一篇是讲“请假流程”的,语义上差得挺多。想问下大家,是不是384维太低了?换成768或者1024会好很多吗?还是说我应该换一个模型或者调一下检索参数?另外,维度高了存起来是不是也慢很多?有点纠结,求各位大佬指点一下。
暂无回复,快来抢沙发吧