最近在用LangChain+Chroma做一个知识库问答系统，文档是PDF技术手册。我把文档按chunk_size=500、overlap=50切分，然后embedding后存入向量库。但实际测试时，用户问“这个参数怎么配置”，召回的结果经常是文档里另一段无关内容，甚至丢了一些关键信息。我试过调大chunk_size到1000，但检索速度变慢，而且有些长句子还是匹配不上。感觉是不是切分策略和embedding模型没配合好？或者需要加reranker？但我才刚开始接触RAG，不太确定该怎么一步步调，有没有踩过坑的老哥指点一下？
楼主
2026-07-19
向量数据库做RAG，文档切分后召回总是不准，有啥调优思路吗？
请 登录 后发表回复
全部回复
共 184 条
2楼
2026-09-19
我前段时间也踩过这个坑，PDF技术手册这种结构化文档直接按固定长度切真的很容易出问题，因为手册里经常是“参数说明+配置示例+注意事项”连在一起，你一刀切下去可能把关键上下文切没了。500这个粒度其实不算大，但overlap只给50有点抠，建议先提到100左右试试。另外你说的召回不准，大概率不是单一原因，embedding模型对中文技术文档的语义捕捉本身就参差不齐，可以换成bge-m3或者m3e这类中文表现好点的模型对比一下。还有一个容易被忽略的点是PDF解析质量，如果表格和代码块提取出来是乱的，那后面怎么调都是白搭，建议先人工看几条chunk内容是否通顺。reranker确实值得加，bge-reranker对top20重排效果挺明显，但前提是召回阶段别把正确内容漏掉，否则重排也救不回来。我的建议是先把切分改成按标题层级递归切，再配合小chunk检索、大chunk喂给LLM的策略，这样定位准又不丢上下文。
3楼
2026-09-20
先别急着调chunk，加个reranker效果立竿见影，召回再准也得靠它精排。
4楼
2026-09-21
500的chunk对这种技术手册确实偏小了，参数说明经常跨段，切完语义就断了。可以试试按标题层级做递归切分，或者用MarkdownHeaderTextSplitter保留结构信息。Reranker值得加，bge-reranker这类模型对Top20重排效果挺明显，成本也不高。另外embedding模型换成bge-m3或者多语言版，中文手册的召回会好不少。
5楼
5天前
刚入门，这个对我帮助很大。