最近在做一个企业文档问答的RAG系统,用的是bge-m3做embedding,Milvus做向量库,top-k设的5。检索阶段我看召回的内容跟问题确实相关,但丢给Qwen2.5-7B生成后,模型经常忽略检索到的内容,按自己训练时的知识瞎答,甚至编造一些文档里根本没有的数字。试过在prompt里加“请严格根据以下上下文回答”,效果也不稳定。想问下各位,这种情况一般怎么排查?是rerank的问题,还是prompt格式不对,还是模型本身指令遵循能力不够?有没有什么实用的调试思路?
楼主
20天前
RAG检索出来的内容明明相关,但LLM回答还是胡编,问题出在哪?
请 登录 后发表回复
全部回复
共 1 条
2楼
16天前
我之前也踩过这个坑,后来发现大概率不是rerank的问题,而是上下文塞得太杂或者格式太乱,模型注意力被稀释了。你可以试试把检索内容用明确的标签包起来,比如