最近在做一个内部文档问答的RAG系统，用的是bge-m3做embedding，向量库选的Qdrant。文档主要是PDF和Word，我按固定512 token切块，overlap设了50。但实际测试发现，有些问题明明文档里有明确答案，检索出来的top3却完全不相关，换个问法又能命中。我在想是不是chunk切得太粗暴了，把上下文切断了？还是说应该上语义分块或者加个rerank？有没有踩过类似坑的老哥指点一下，现在有点不知道该从哪调起……
最近在做一个内部文档问答的RAG系统，用的是bge-m3做embedding，向量库选的Qdrant。文档主要是PDF和Word，我按固定512 token切块，overlap设了50。但实际测试发现，有些问题明明文档里有明确答案，检索出来的top3却完全不相关，换个问法又能命中。我在想是不是chunk切得太粗暴了，把上下文切断了？还是说应该上语义分块或者加个rerank？有没有踩过类似坑的老哥指点一下，现在有点不知道该从哪调起……
先加rerank试试，成本低见效快，chunk的问题可以后面再慢慢调。