RAG系统里给检索结果加prompt，到底怎么写才能让LLM不乱编？

我最近也在调类似的RAG pipeline，试下来觉得光说“基于文档回答”不够，还得明确给个“拒绝模板”，比如“如果文档里找不到直接答案，就说信息不足”。另外可以试试把chunk按相关性排序后，用分隔符明确标出哪些是检索内容，再让模型复述一遍关键句再作答，这样幻觉少很多。输出格式我觉得除非下游有解析要求，不然先别限制太死，模型容易为了格式牺牲准确性。

把“不知道”写进system prompt确实管用，我还会在chunk前面加一行“如果下面内容没有答案，请直接说不知道”。

你这问题我也踩过坑，关键是得把“硬约束”写进system prompt里，比如明确加一句“如果检索内容里没有明确依据，直接回答不知道，不要自行推断”。另外可以试试把chunk按相关性排序，然后让模型逐条引用，输出时强制带上原文编号，这样能减少幻觉。还有个小技巧，就是在user prompt里把检索结果用XML标签包起来，比如...，指令写成“只基于标签内的内容回答”，模型更容易遵守边界。

我之前也踩过这个坑，后来发现光靠加指令不够，得在prompt里把检索内容和用户问题明确区隔开，比如用“文档片段：... 用户问题：...”这样的结构。另外你提到的“不知道”指令确实有用，但最好在结尾补一句“如果文档没提，直接回复‘未找到相关信息’”，这样模型会更老实。chunk质量也很关键，有时候top3里一堆噪音，模型反而被带偏，可以试试先做一次相关性过滤再送进去。输出格式的话，如果只是demo阶段，建议先别限制太死，等指令稳定了再调格式。

这个问题我太感同身受了，试过“请严格基于文档”结果模型还是自由发挥。后来我发现光强调“基于文档”不够，得明确告诉它“如果文档里没有相关信息，直接说不知道”，再配合把chunk里的关键句用引号标出来，模型就不太敢瞎编了。另外输出格式加一句“只用原文回答，不要额外解释”也挺管用的，你可以试试看。

你这问题太真实了，我调的时候也踩过类似的坑。后来发现单纯加指令不够，得在prompt里把检索内容和用户问题用明确的标记区分开，比如“文档：xxx”和“问题：xxx”分行写，模型注意力会更集中。另外强烈建议加一句“如果文档信息不足，请直接说不知道”，配合温度调低点（0.1左右），能极大减少胡编。chunk质量当然也关键，但先把prompt结构稳住，效果提升更立竿见影。

试试在指令里加个“如果文档里找不到答案，直接说不知道”，效果会稳定很多。另外chunk质量确实很关键，内容太零散模型就容易放飞。

老实说我也踩过这个坑，后来发现光靠prompt硬怼真不如先查chunk质量。我试过把检索结果按相关性排序后，在前面加一行“这是从文档里找到的原始内容，如果问题没覆盖到就老实说不知道”，效果比“请严格基于文档”稳很多。另外输出格式这块，建议你加一句“只给答案，不要解释”单独成段，模型更容易理解。你用的top3里会不会有些内容压根不相关？可以试试先过滤一遍，只留高置信度的。

这问题太真实了，我也踩过类似的坑。个人感觉你那个“严格基于文档”的指令其实方向没错，但光靠一句话不够，得在prompt里把“如果文档没提”的兜底逻辑写得再具体点。比如我会加一句“如果检索到的片段里找不到明确依据，就直接说‘资料中未提及’，不要自己推测”，然后配合few-shot示例效果会稳很多。另外chunk质量确实很关键——有时候top3里混进不相关的片段，模型就会被带跑偏，建议先检查一下召回的内容是不是真能覆盖问题。输出格式这块我觉得看场景，如果下游要解析答案，那确实得限制只返回答案，不然模型容易给你解释一堆，反而增加幻觉风险。还有个小技巧：可以把检索结果按相关性重新排序后，在prompt里标上序号和来源，再让模型“按序号引用回答”，实测能减少自由发挥。你用的是LangChain吧？试试它那个conditional retriever，配合自定义prompt模板，比硬拼top3要灵活。最后想问下，你的chunk切分是多大的？有时候切太碎反而让模型抓不住上下文，我试过500-800字符配合overlap效果还行。

试过加“如果找不到答案就说不知道”这句，配合few-shot示例效果会稳很多。

试试在prompt开头加句“如果文档没有相关信息，直接说不知道”，再给个简洁答案的示例，效果会稳很多。

你这情况我太熟了，试过加“如果文档里没有直接答案就说不知道”这种兜底指令，确实能压住一部分幻觉，但chunk质量才是根本——如果top3本身就不相关，prompt怎么写都白搭。我习惯在prompt里把检索内容单独标成“参考段落”，然后加一句“只从参考段落中提取信息回答，不要使用自己的知识”，输出格式的话，简单场景强制只给答案没坏处，但复杂问题容易丢推理过程。另外可以试试让模型先判断文档是否包含答案，再决定生成还是拒绝，这样比直接硬挤靠谱多了。

可以把“请严格基于以下文档回答”改成“如果文档里没有相关内容，直接说不知道”，再试试限制输出格式。

试试把检索结果放在用户问题前面，再加一句“如果找不到明确依据就说不知道”，效果会稳很多。

说到这个我可太有同感了，最近也在折腾类似的东西，试了一圈发现prompt怎么写确实很玄学。你那个“严格基于以下文档”失效，我怀疑是模型对“严格”这种词已经免疫了，不如试试把指令拆成更具体的步骤，比如“先阅读下面三段文档，然后只从这些内容里找答案，如果找不到直接说‘文档中未提及’”。另外chunk质量确实会背锅，尤其top3如果本身就不相关或者信息碎片化，模型很容易脑补，我后来加了个前置过滤步骤，先让一个轻量模型判断chunk和问题的相关性，不相关的直接丢弃，效果提升挺明显的。输出格式这块我倒觉得不用太死板，除非你下游要解析结果，否则让模型自然回答反而更真实，不过加一句“不要添加文档外的推测”倒是挺管用的。你用的是哪个embedding模型？有时候检索召回的内容本身就有偏差，prompt再怎么调也救不回来。

我试过加一句“如果文档里没答案就直接说不知道”，效果确实稳了不少，你可以试试。

我试过加“未找到相关信息就回答不知道”，效果稳多了，你也可以试试明确输出格式。

加个“如果文档里没有相关内容，请直接说不知道”的指令，效果会稳很多。输出格式别限制太死，让模型保留点空间反而更自然。

试试把检索内容放在用户问题前面，再加上“如果文档没提就回答不知道”，效果会稳很多。

试试在prompt里加个“如果文档里没找到，直接说不知道”，然后调低temperature到0.1，效果会稳很多。