最近在做一个本地知识库问答的小项目,纯开源方案。向量模型用的bge-m3,生成模型是Qwen2.5-7B-Instruct,向量库选的Milvus。文档主要是PDF技术手册,切块大小512,重叠50。但实际跑起来检索经常召回不相关的内容,回答也老是答非所问。试过调top_k和换相似度阈值,效果提升不明显。想问问大家,是切块策略有问题,还是bge-m3不适合中文技术文档?有没有必要加个rerank模型?预算有限只能跑7B级别的模型,求有经验的老哥指点一下方向。
最近在做一个本地知识库问答的小项目,纯开源方案。向量模型用的bge-m3,生成模型是Qwen2.5-7B-Instruct,向量库选的Milvus。文档主要是PDF技术手册,切块大小512,重叠50。但实际跑起来检索经常召回不相关的内容,回答也老是答非所问。试过调top_k和换相似度阈值,效果提升不明显。想问问大家,是切块策略有问题,还是bge-m3不适合中文技术文档?有没有必要加个rerank模型?预算有限只能跑7B级别的模型,求有经验的老哥指点一下方向。
暂无回复,快来抢沙发吧