最近在搭一个本地知识库问答系统,用的Qwen2.5-7B加langchain,embedding试过bge-large和m3e,向量库用的faiss。文档主要是技术手册和产品FAQ,我按固定长度(256字符,重叠32)切的chunk。
楼主
2026-08-03
RAG检索总召不回关键段落,重排序后更差,是chunk切法问题还是embedding选错了?
请 登录 后发表回复
全部回复
共 105 条
2楼
25天前
固定长度切chunk对技术手册这种结构化文档其实挺吃亏的,容易把一段完整说明从中间截断,检索时自然抓不到关键段落。重排序变差可能是因为召回阶段就已经漏了目标chunk,rerank只能在候选里挑,候选里没有再排也没用。建议先别急着换embedding,试试按标题或段落结构切,再给chunk加上所属章节的标题做上下文补充。另外bge-large对中文技术文本一般够用,可以先用几个典型query手动看看召回结果,定位到底是切分还是向量的问题。
3楼
25天前
固定长度切chunk对技术手册来说挺容易把完整段落拦腰截断的,语义碎了重排也救不回来。你可以先别急着换模型,拿几个召回失败的query手动看看命中的chunk原文,是不是本身就缺上下文。另外m3e和bge在中文长文本上差异不算大,问题大概率出在切法和对齐上,试试按标题层级或语义切分。
4楼
24天前
固定长度切chunk确实容易把完整段落切碎,试试按标题或语义切分,召回会好很多。
5楼
23天前
固定长度切chunk对技术手册这种结构化文档挺吃亏的,容易把完整操作步骤拦腰截断,召回时自然拿不到关键段落。建议先试试按标题层级或段落切,再配合小一点的重叠,比调embedding见效快。另外重排序变差也可能是候选集本身就不行,top-k先放大到20再排,有时候能救回来。bge-large中文其实够用了,先别急着换模型,把切法理顺再说。
6楼
23天前
固定256切太碎了,语义都断了,试试按标题或段落切,bge换指令版会好点。