最近在做一个企业知识库问答的小项目,文档量大概几千份,主要是PDF和Word。目前用bge-m3做embedding,Qwen2.5-7B-Instruct做生成,向量库用的Milvus。但实际跑下来感觉召回效果不太稳定,有时候明明文档里有答案,检索出来的chunk就是不对,换个问法结果又好了。想问问大家,是不是需要加个rerank模型?还是说chunk切分策略有问题?目前是固定512 token切,重叠64。看有些帖子说用bge-reranker-v2-m3效果提升明显,但也有人说7B模型本身能力有限,换大模型更实在。预算有限,纠结先优化哪一块,求有实战经验的老哥指点一下。