RAG里Prompt写不好，检索结果再好也白搭？求优化思路

试试把用户query拆成关键词塞进prompt里，再让模型按点输出，比单纯“只回答”稳很多。

我最近也被这个问题折磨过，后来发现把检索到的top20压缩到top5再进prompt会好很多，上下文干净了模型就不容易乱发挥。另外你可以试试在prompt里加一句“如果上下文没有明确依据，就直说不知道”，比单纯强调相关性管用。query重写我试过，对模糊提问有点帮助，但别搞太复杂，简单拆词或者补全一下就行。

说实话你这个情况我太懂了，bge-m3召回没问题但生成拉胯，大概率不是检索的锅，是prompt里“上下文”这个概念太模糊了。模型分不清哪些是真正支撑答案的句子，哪些只是沾边的内容，所以它就会把所有检索片段都当背景信息一股脑倒出来。我建议你别只写“根据上下文回答”，而是明确告诉它“只使用检索片段中与问题直接对应的条款，忽略无关描述”，同时给它一个输出格式的锚点，比如“用三步总结报销流程，每步不超过20字”。另外query重写我觉得挺有用的，尤其是内部知识库的术语和用户口语差很多，你可以先用一个轻量prompt把“报销流程”重写成“公司财务报销的标准操作步骤”，再进检索，生成质量会有质的提升。还有个坑是系统提示词里别堆太多角色设定，模型会为了“扮演好角色”而过度发挥，反而把原文改得面目全非。你可以试试把检索片段分段标注成【参考1】【参考2】，然后在prompt里强制要求“回答中必须标注引用来源编号”，这样模型会更老实。最后建议你做个消融测试，固定检索结果，只改prompt，看哪些改动是正向的，别一次改太多，不然根本定位不了问题。

试试把query拆成关键词+意图两块塞进prompt，再加个“仅输出原文未提及就答不知道”的硬约束，效果能稳不少。

我之前也踩过这个坑，后来把检索到的top20先按相关性粗排一遍，只把前5条塞进prompt，效果立马好了很多。另外别让模型自己从长上下文里挑重点，你可以在prompt里明确写“只基于以下片段回答，忽略无关内容”，比“根据上下文”这种模糊指令管用。query重写我倒觉得不是必须，除非你发现原始问法和库里表述差异特别大。还有个小技巧，把用户问题在prompt里重复一遍放在答案前面，模型会更聚焦。

我之前也踩过这个坑，后来发现单纯靠prompt约束不如直接改query。可以试试把用户问题重写成一个更具体的、带检索意图的指令，比如“根据报销流程文档，分步骤列出申请时需要提交的材料”，这样模型更容易聚焦。另外系统提示词里可以加一句“忽略与问题无关的上下文”，但别依赖它，最好在检索端就做一下相关性过滤。还有个小技巧，把top20里相似度低的段落直接删掉，只喂给模型前5-8段，生成质量会明显稳很多。

试试把检索出来的top20按问题相关性重排一下，再让模型只基于前5条生成，效果会稳很多。

我自己是把用户query拆成关键词塞回prompt里，加一句“忽略与问题无关的条款”，比单纯说“只回答相关”管用。

试试把用户query拆成关键词塞进prompt做锚点，再加一句“只提炼原文里跟这些词直接相关的点”，效果比笼统约束稳不少。

试着把用户query拆成几个子问题塞进prompt，强制模型按步骤走，比单纯加约束词管用。

试试把query拆成关键词塞进prompt里当硬约束，再加一句“只输出总结，禁止列举条款”，效果立竿见影。

试试把top20压缩到top5再让模型总结，相关性直接拉满，另外query重写确实有用但别太复杂，简单加个公司名就行。

说实话你这问题我太有共鸣了，bge-m3召回好但生成烂，大概率是Prompt里没给模型一个“筛选标准”。建议别光写“根据上下文”，改成“从上下文中提取与问题直接相关的信息点，忽略流程类背景介绍”，同时把query拆成几个子问题塞进上下文，效果会稳很多。另外可以试试在模板里加一句“如果上下文无直接答案，明确说不知道”，能压住瞎编和乱列条款的毛病。

试试把用户query改写成几个相关子问题再检索，生成时强制模型只基于排序靠前的片段总结，效果比单改prompt稳得多。

我之前也踩过这个坑，后来发现光靠系统提示词约束角色不够，得把用户query重写一下，转成更具体的检索意图再塞进Prompt，比如把“报销流程”扩写成“公司差旅报销的步骤和所需材料”，生成质量明显稳了。另外你可以在Prompt里加一个“只基于上下文总结，不要补充背景知识”的负面指令，但别用“不要”这种词，改成“如果上下文没有相关信息，直接回答不知道”会更有效。还有个小技巧，把top20结果按相关性排序后，在Prompt里给每段加个“相关度：高/低”的标签，模型会更倾向于忽略低相关段落，你可以试试。

试试把检索到的内容按相关度排序后截断，再让模型只基于前几段总结，别一股脑全塞进去。

我一般会在prompt里加一句“如果上下文无关就直说不知道”，能明显减少瞎编和罗列无关条款的情况。

跟你遇到一模一样的问题，后来我把prompt改成“先判断上下文里有没有直接答案，有就概括，没有就明确说不知道”，效果立刻稳了不少。另外query重写挺关键的，尤其用户问得含糊的时候，我会先把“报销流程”补成“公司内部报销的具体步骤和所需材料”再丢给模型。系统提示词里固定角色其实帮助有限，不如在user消息里把检索到的top5按相关度排好序，再明确标出“以下内容按相关度从高到低排列”，模型会更听话。

我之前也遇到过一模一样的问题，后来发现单纯靠系统提示词约束确实不够稳。你可以试试把用户query先做个改写，比如拆成几个子问题再一起喂给模型，这样它更容易聚焦。另外我习惯在prompt里加一句“如果上下文没有直接答案，就明确说不知道”，能明显减少瞎编或者硬凑条款的情况。还有个小技巧，把召回的top20按相关性排序后，只取前5-8条塞进上下文，有时候反而比全塞进去效果更好，信息太多模型容易迷失重点。

试试把用户query拆成关键词塞进prompt，再让模型先判断相关段落再回答，比直接说“只回答相关”稳多了。

这问题太真实了，我最近也在调RAG，感觉prompt的权重被低估了。建议你别只靠系统提示词，把用户query重写一下效果会好很多，比如把“报销流程”扩写成“公司内部费用报销的具体步骤和所需材料”，检索和生成都能对齐。另外你那个“复述原文”的问题，可以试着在prompt里明确要求“用不超过三句话概括，不要引用原文条款”，再加上对检索结果的排序提示，让模型优先看前几条，会稳定不少。

我之前也遇到过一模一样的问题，检索召回没问题，但生成结果就是像在念文档。后来发现prompt里“根据上下文回答”这种指令太虚了，模型根本不知道啥叫“相关”，你得把任务拆得更细，比如明确告诉它“从上下文中提取与报销流程直接相关的步骤，忽略政策背景和例外条款”。另外你提到query重写，我觉得这个方向是对的，但不用重写得太复杂，简单把用户问题转成“查找关于X的步骤/条件/所需材料”这种结构化指令，比直接塞原始query效果稳很多。还有个小技巧，就是给模型一个输出格式的锚点，比如让它先列“关键步骤”，再列“注意事项”，这样它就不太会跑偏去复述原文。系统提示词里固定角色确实有用，但别只写“你是助手”，可以加一句“你是知识库问答系统，只能基于给定段落回答，并明确区分事实和推断”。最后我踩过最大的坑是忘了在prompt里限制“如果上下文信息不足，直接说不知道”，不然模型会硬编造或硬凑，建议你也试试。