最近在做一个企业内部文档问答的小项目，大概几千个PDF，试了LlamaIndex默认的bge-small+GPT-3.5，召回还行但回答经常漏关键信息。换成BGE-M3做embedding，本地部署Qwen2.5-7B来生成，效果提升不明显，尤其是多跳问题基本歇菜。看网上说必须加bge-reranker，但加了之后延迟直接从2秒飙到8秒，老板嫌慢。想问下各位大佬，开源这套组合到底瓶颈在哪？是切块策略问题还是模型本身上限就这样？有没有低成本能落地的改进思路？
楼主
17天前
开源RAG方案选型，BGE-M3+Qwen2.5真的够用吗？还是说必须上重排？
请 登录 后发表回复
全部回复
共 1 条
2楼
14天前
几千个PDF直接切块塞进向量库，多跳问题基本没戏，因为关键信息往往分散在不同段落里，embedding再强也串不起来。重排确实能救召回质量，但8秒延迟对内部工具来说太伤了，不如试试先用BGE-M3做粗排，再用小一点的reranker比如bge-reranker-base，或者只在top20里重排。另外切块策略比换模型重要得多，按标题层级切、加一点上下文重叠，可能比上重排更划算。