RAG系统里给检索结果加prompt，到底怎么写才能让LLM不乱编？

说实话我觉得你这问题八成不在prompt上，而在chunk质量和检索相关性上。我刚开始搞RAG的时候也死磕prompt，后来发现top3如果本身就不相关，你指令写得再狠它也只会硬编。你可以先试试把检索出来的chunk单独丢给模型看它能不能答对，如果不能，那就先调embedding和切分逻辑。另外“请严格基于以下文档回答”这种话太弱了，我一般会在系统提示里写“你是问答助手，只能使用提供的上下文，禁止使用内部知识”，然后用户消息里再强调一遍“若上下文无答案，直接回复：根据现有资料无法回答”。至于输出格式，我建议要限制，但别太死，比如要求“先给出直接答案，再附一句出处引用”，这样既能防乱编，又方便你debug。最后提醒一句，温度调低点，0.1以下，别给模型自由发挥的空间。调prompt确实麻，但很多时候是检索侧的问题被prompt背锅了。

我之前也踩过这个坑，后来发现光靠“严格基于文档”这种话真不够。你试试把prompt拆成三段：先给角色设定，再明确说“如果检索内容里没有答案，直接回复‘资料未提及’，禁止推测”，最后再加一句“回答时只引用原文，不要展开解释”。这样模型至少知道边界在哪，而不是让它自己猜。

另外我觉得问题可能真不在prompt，而在chunk质量。top3如果本身割裂、没上下文，模型当然容易跑偏。你可以先看下检索出来的片段是不是完整句，或者试下把chunk重叠一部分再拼进去。

至于输出格式，我建议还是要限制，但别只写“只返回答案”，最好给个例子，比如“正确格式：xxx”。不然模型还是会自作聪明加一段总结。

还有个偏门技巧，把“如果没有答案”这句话放在prompt最后，而不是开头，实测效果不一样。模型对结尾指令的记忆更强。

你用的是OpenAI的话，也可以试试temperature调低到0.1，配合system message里强调事实性，会比单纯改prompt稳定很多。

最后想问下，你检索回来的chunk有没有做重排？有时候top3里可能只有1条真正相关，其他全是噪音，模型就会被带偏。

说实话你这个情况我太懂了，上周刚被类似问题折磨过。后来我发现关键不是单靠一句“严格基于文档”，而是要把指令拆成“角色+任务+边界”三层，比如开头先定义“你是一个严谨的问答助手”，中间明确“只允许使用给定材料中的事实”，结尾再补一句“如果材料中没有明确信息，直接回答‘根据现有资料无法确认’”。另外我会在prompt里加个隐形约束，告诉它“不要复述材料，也不要补充材料外的知识”，这样能明显减少瞎编。还有啊，chunk质量确实影响很大，top3里要是混着不相关段落，模型很容易被带偏，你可以试试先做个简单的相关性过滤，或者把top3改成top5再让模型自己挑。至于输出格式，我个人建议一定要固定，比如“答案：xxx；依据：xxx”，这样既方便解析，也能逼着模型回头核对材料。不过说实话，这玩意儿没有一劳永逸的公式，我最后是写了个小脚本，同时跑几种prompt模板，用几个常见问题对比输出质量才定下来的。你要是调烦了，也可以试试换个思路，比如在检索后先让LLM做一次“段落摘要”，再把摘要拼进最终prompt，有时候效果反而更好。

我最近也在搞这个，试下来觉得光靠prompt压不如直接改检索。把top3改成top5然后按相似度排序，让模型看到更多上下文，编的概率会小很多。另外你可以试试在prompt里加一句“如果检索内容互相矛盾或都不相关，直接说不知道”，比单纯强调“严格基于”好用。输出格式那个我建议还是加一下，不然每次都要解析一堆废话。对了，你chunk切多大？我调到500字左右效果比较稳定。

我的经验是光靠prompt真不够，chunk质量影响更大。你试过把检索回来的内容加个“文档原文”标签，然后在指令里明确说“只能引用标签里的内容”吗？另外我习惯在prompt最后加一句“如果文档没覆盖到，直接说不知道”，比“严格基于”好用很多。

还有个小技巧，可以试试让模型先复述一遍文档里的关键信息，再给答案，这样能强制它“看着”文档说话。输出格式那个我觉得看场景，demo阶段最好还是带上简洁的引用来源，方便排查问题。

另外你top3的chunk会不会太碎了？有时候模型是找不到对应信息才瞎编的，可以试试把chunk调大一点，或者检索后自己简单拼一下上下文。

说实话我跟你遇到一模一样的问题，后来发现光靠prompt硬压真不行，chunk切得烂啥指令都白搭。我现在的做法是先把“不知道”明确写进system prompt里，再在user query前加一句“如果检索片段没覆盖就直接说没找到”。另外输出格式的话我会简单提一嘴“只给答案，别解释”，但别用太强硬的词，不然模型容易过度保守啥都不敢答。对了，你top3的chunk有没有做相关性过滤？有时候塞了无关内容进去模型反而被带偏，试试按分数阈值卡一下。

我卡在这块好一阵了，后来发现光靠prompt压不住，得双管齐下。我现在会让模型先判断文档里有没有相关答案，没有就直接说“信息不足”，这比硬逼它用文档回复靠谱。另外你试试把chunk的来源标清楚，比如“第2段提到……”，模型会更愿意引用而不是自己编。输出格式的话，我一般会加一句“只用列表或段落，别加废话”，但别指望它次次听话，关键还是得看chunk质量，有时候top3里全是噪音，怎么写都白搭。

我跟你说，这问题我太懂了，之前调RAG prompt差点把自己调成玄学家。你那个“严格基于文档”失效，很多时候真不是指令的问题，而是chunk本身太碎或者太杂，模型抓不到核心信息，只能靠常识硬补。我现在的做法是，在prompt里加一层“证据定位”逻辑，比如要求模型先引用原文片段再给结论，这样它就算想编也得先过一遍检索内容，比单纯说“别瞎编”管用。还有啊，那句“如果文档里没有就回答不知道”一定要写，但别写得太生硬，我会写成“若检索内容中缺乏明确依据，请直接说明信息不足”，这样模型反而更愿意承认不知道。输出格式这块，我建议你分两步走，第一步先让模型只输出“有据”或“无据”的判断，第二步再让它生成答案，这样能大幅减少幻觉。另外你试试把top3改成top5但每个chunk截短一点，有时候信息粒度比数量重要。最后提醒一句，LangChain的prompt模板里别把检索内容直接一大坨塞进去，用分隔符和编号隔开，模型对结构化输入的遵从度会高很多。

我最近也踩过这个坑，后来发现光靠指令不够，得在prompt里加个“证据锚定”的设计，比如强制要求模型先摘录原文再给结论，这样它就没法凭空发挥了。另外你提的“不知道就明说”确实得写进去，但最好放在系统提示词里而不是每次问答都重复，不然优先级容易被稀释。chunk质量也得查，如果top3里全是噪音，模型自然倾向瞎编，建议先看看检索召回的相关性分数。输出格式的话，单轮问答可以要求只回答案，但如果要做多轮，还是留点上下文痕迹比较好。

我之前也踩过这个坑，后来发现光是“严格基于文档”没用，得把“如果文档没提到就明确说不知道”直接写进system prompt里，效果会稳很多。另外你试试把检索到的内容按“文档X：内容”这样编号，模型更容易区分引用和自身知识，否则它一偷懒就自己发挥了。输出格式这块，我习惯在最后加一句“只输出答案，不要解释”，能省不少事，但前提是chunk别太碎，top3如果信息重叠太多，模型反而容易混。你用的是默认的OpenAI温度吗？有时候调低到0.2左右，幻觉会少一大截。

prompt写得再花哨，不如先把chunk质量搞上去，top3如果本身不相关，模型当然容易放飞自我。你可以试试在prompt里加一句“如果检索内容与问题无关，直接说不知道”，比单纯强调“严格基于”好用得多。输出格式方面，我一般会要求“只给答案，不要解释”，这样能减少模型自己加戏的空间。还有个小技巧，把每个chunk前面标上编号，然后让模型只能引用编号对应的内容，逻辑上会清晰不少。

我一般会在prompt里直接塞一句“没找到就直说不知道”，比单强调“基于文档”管用，你试试。

纯指令没用，得加一句“文档里没写就直说不知道”，再给个输出模板锁死格式。

我试过把“如果文档没有相关内容，请明确回答不知道”写进system prompt，效果比硬塞在用户消息里稳多了。

这问题我踩过坑，核心不在指令多硬，而是得把“不知道”的路径给模型铺好。我现在的写法是：“仅依据下列资料回答，若资料未提及，直接说'资料中未找到相关信息'”，比单纯说“严格基于”管用。另外你检查下chunk是不是太碎或者太偏，top3有时候反而会带偏，我后来改成按相关度阈值过滤，不够就不检索直接拒答。输出格式我倒觉得不用太死，但可以在最后加一句“答案控制在3句话内”，能减少它自由发挥的空间。

prompt里那句“请严格基于”其实很模糊，模型不知道什么叫严格。我习惯把检索内容标成“【资料1】...【资料2】...”，然后明确写“引用格式：[资料1]”，这样它想编也得先找对素材。还有个小技巧，把“如果文档没有”改成“当且仅当资料中出现”，逻辑上更封闭。chunk质量确实关键，试试把top3改成top5再让模型自己挑，有时候反而更准。

我试过最有效的是在prompt里加一个“三选一”的强制逻辑：要么直接引用原文回答，要么总结后标注出处，要么回答“信息不足”。这样模型没法绕过去瞎编。另外你用的是OpenAI，温度调低到0.2以下会好很多，不然

光靠指令压不住幻觉，先砍chunk长度和相关性，top3里混进噪音啥提示词都白搭。

试试把“不知道”写成固定兜底选项，再让模型强制引用原文片段，比单纯说“严格基于”管用。

说实话你这问题我太懂了，之前调的时候也被整崩溃过。后来我发现光靠指令没用，得在prompt里把“如果文档没明确提到，就直接说没找到相关信息”写死，最好再加个例子，比单纯说“严格基于文档”管用得多。另外chunk质量确实很关键，有时候top3里全是废话，模型想不编都难，建议试试把检索阈值调高一点，或者做一下rerank。输出格式我觉得有必要限制，但别太死，比如“只给答案，不确定就说明原因”这种，既能防止乱编又能保留一点灵活性。

我也遇到过这问题，后来发现光靠prompt压不住，得从源头下手。可以试试把chunk里和问题无关的部分裁掉，只留最相关的段落，模型跑偏概率会小很多。另外“不知道就直说”这句确实得写进去，但别放开头，放最后当兜底规则，效果更稳。输出格式的话，我一般加一句“如果答案来自文档，请标注来源编号”，既能防编造又方便排查。你那个top3的相似度阈值调过没？有时候是硬凑出来的第三段在误导模型。

说实话你这个问题我太有共鸣了，之前调RAG prompt也卡了一个多星期。我觉得核心问题可能不在指令强度，而在于你给模型的“上下文边界”不够清晰。我后来是把检索到的chunk单独放在一个明确的标签里，比如“参考资料开始”和“参考资料结束”，然后紧接着写“如果上述资料中没有出现该信息，请直接回答‘根据现有资料无法确认’”，效果比单纯说“严格基于文档”稳定很多。

另外chunk质量确实很关键，有时候top3里混进一两段不相关的文本，模型就会“择优”编造。你可以试试在拼接前做个简单的相关性过滤，或者把每段chunk前面加上来源标题，让模型知道哪些是可信依据。至于输出格式，我个人建议还是加一句“只输出最终答案，不要解释过程”，但别用太死板的模板，否则模型容易把“不知道”也强行包装成答案。

还有个细节你可能没注意到——温度参数。如果生成时temperature设得偏高，模型哪怕看到明确指令也倾向于自由发挥。我一般调到0.1到0.2之间，配合上述结构，基本能压住幻觉。你可以先拆开变量试，一次只改一个，别同时调prompt和chunk数，不然很难定位问题。要是还不行，就检查一下embedding模型和chunk切分粒度，有时候200字一段比500字一段更利于精准引用。

我之前也踩过这个坑，后来发现问题往往不在prompt本身，而是chunk切得太碎或者太偏。top3如果内容相关性不够，你指令写得再狠模型也会强行圆场。可以试试把“如果文档里没有信息，请直接回答‘未找到相关内容’”这种话放在system message里，比放在user prompt里稳定很多，因为模型对系统层的指令遵从度更高。另外输出格式我建议一定要约束，哪怕只是加一句“只输出最终答案，不要解释过程”，能有效减少模型自作主张补细节的欲望。不过你用的top3是固定数量吗？我后来改成按相似度阈值动态取，低于0.5就不给模型看，直接让它说不知道，幻觉少了一大半。还有就是LangChain里有个stuff chain，它默认把所有chunk拼一起，容易让模型觉得上下文很丰富，反而放飞自我，你可以试试map-reduce模式，每个chunk单独生成答案再汇总，虽然慢点但靠谱很多。最后想说，prompt调麻了先停一下，去检查一下你的embedding模型和检索质量，往往检索回来的东西压根不对，那后面怎么调都白搭。

我之前也踩过这个坑，后来发现光靠指令真不够，chunk质量才是大头。你试试把top3改成按相关性过滤后只留1-2段，内容越聚焦模型越不容易跑偏。

另外“如果文档里没有就答不知道”这句必须写，而且要放在指令最前面，比“严格基于”管用。输出格式倒是次要的，除非你后续要解析。

还有个土办法：把检索内容里跟问题无关的句子直接删掉，只留关键句，模型想编都没素材。你可以先拿一两个case调一下，比盲改prompt效率高。