最近在做一个内部文档问答的RAG demo,检索部分用的是bge+milvus,召回top5感觉还行,但生成这块总是翻车。我现在的prompt大概就是“根据以下上下文回答问题,不知道就说不知道”,结果模型要么把上下文里不相关的内容硬编进去,要么明明检索到了正确段落却答得特别笼统。试过加“请引用原文”稍微好点,但又开始整段照抄。想问问大家RAG场景下的prompt一般怎么设计结构?需不需要把检索片段加序号或者标注来源?有没有什么踩坑经验分享一下,感激不尽。
最近在做一个内部文档问答的RAG demo,检索部分用的是bge+milvus,召回top5感觉还行,但生成这块总是翻车。我现在的prompt大概就是“根据以下上下文回答问题,不知道就说不知道”,结果模型要么把上下文里不相关的内容硬编进去,要么明明检索到了正确段落却答得特别笼统。试过加“请引用原文”稍微好点,但又开始整段照抄。想问问大家RAG场景下的prompt一般怎么设计结构?需不需要把检索片段加序号或者标注来源?有没有什么踩坑经验分享一下,感激不尽。
暂无回复,快来抢沙发吧