最近在做一个垂直领域的知识库问答,用的RAG架构。数据是PDF切块后embedding到向量库,top-k从5调到了15,召回率(hit rate)确实涨了不少,但生成答案却开始出现幻觉,甚至把不同文档里的信息拼错了。我怀疑是chunk粒度或者rerank的问题,也试过调prompt限制只基于上下文,但效果不稳定。有没有大佬遇到过类似情况?是应该降top-k还是换更精细的混合检索?或者干脆对chunk做摘要再入库?求个思路,实在有点摸不着头脑。
楼主
2026-08-20
RAG召回率上去了但答案质量反而变差,大家怎么调?
请 登录 后发表回复
全部回复
共 45 条
2楼
2026-09-14
top-k拉高确实容易这样,召回的东西多了噪声也跟着进来,模型分不清哪块该信哪块不该信。我之前也踩过这坑,后来加了个cross-encoder做rerank,把15个候选重新排一遍只留前5,幻觉明显少了。另外chunk切太碎也容易让上下文断裂,跨文档拼接就更容易出错,你可以看看切块时有没有保留标题和层级信息。
3楼
26天前
top-k调大确实容易把噪声塞进去,先加个rerank压一压,比降k管用。
4楼
25天前
top-k拉太高确实容易塞进噪声,先试加个rerank把无关块筛掉,chunk重叠也别太大。
5楼
23天前
top-k拉太高肯定容易串味儿,先加个rerank卡一道,再把chunk切小点试试。
6楼
23天前
top-k大了噪声也多了,先加个rerank筛一遍再喂给模型试试。