最近在做一个企业知识库问答的小项目,文档量大概几千份,主要是PDF和Word。目前用bge-m3做embedding,Qwen2.5-7B-Instruct做生成,向量库用的Milvus。但实际跑下来感觉召回效果不太稳定,有时候明明文档里有答案,检索出来的chunk就是不对,换个问法结果又好了。想问问大家,是不是需要加个rerank模型?还是说chunk切分策略有问题?目前是固定512 token切,重叠64。看有些帖子说用bge-reranker-v2-m3效果提升明显,但也有人说7B模型本身能力有限,换大模型更实在。预算有限,纠结先优化哪一块,求有实战经验的老哥指点一下。
楼主
19天前
开源RAG方案选型求助,bge-m3+Qwen2.5真的够用吗?
请 登录 后发表回复
全部回复
共 1 条
2楼
14天前
你这个配置其实不算差,但召回不稳大概率不是模型本身的问题,先别急着换大模型。固定512切分对PDF来说挺致命的,很多文档表格和段落结构一混,chunk里塞了一堆无关内容,embedding再强也白搭。我之前也遇到过换个问法就好的情况,后来改成按语义+标题层级切,召回立马稳了一截。rerank确实值得加,bge-reranker-v2-m3性价比很高,几千份文档的量级跑起来也不贵,先上这个比换模型见效快。Qwen2.5-7B做生成够用了,前提是检索给它的上下文别太脏,不然再大的模型也救不回来。建议先把chunk策略和rerank调好,再考虑模型升级的事,顺序反了容易白花钱。