RAG系统里给检索结果加prompt，到底怎么写才能让LLM不乱编？

我最近也在调类似的RAG pipeline，试下来觉得光说“基于文档回答”不够，还得明确给个“拒绝模板”，比如“如果文档里找不到直接答案，就说信息不足”。另外可以试试把chunk按相关性排序后，用分隔符明确标出哪些是检索内容，再让模型复述一遍关键句再作答，这样幻觉少很多。输出格式我觉得除非下游有解析要求，不然先别限制太死，模型容易为了格式牺牲准确性。

把“不知道”写进system prompt确实管用，我还会在chunk前面加一行“如果下面内容没有答案，请直接说不知道”。

你这问题我也踩过坑，关键是得把“硬约束”写进system prompt里，比如明确加一句“如果检索内容里没有明确依据，直接回答不知道，不要自行推断”。另外可以试试把chunk按相关性排序，然后让模型逐条引用，输出时强制带上原文编号，这样能减少幻觉。还有个小技巧，就是在user prompt里把检索结果用XML标签包起来，比如...，指令写成“只基于标签内的内容回答”，模型更容易遵守边界。

我之前也踩过这个坑，后来发现光靠加指令不够，得在prompt里把检索内容和用户问题明确区隔开，比如用“文档片段：... 用户问题：...”这样的结构。另外你提到的“不知道”指令确实有用，但最好在结尾补一句“如果文档没提，直接回复‘未找到相关信息’”，这样模型会更老实。chunk质量也很关键，有时候top3里一堆噪音，模型反而被带偏，可以试试先做一次相关性过滤再送进去。输出格式的话，如果只是demo阶段，建议先别限制太死，等指令稳定了再调格式。

这个问题我太感同身受了，试过“请严格基于文档”结果模型还是自由发挥。后来我发现光强调“基于文档”不够，得明确告诉它“如果文档里没有相关信息，直接说不知道”，再配合把chunk里的关键句用引号标出来，模型就不太敢瞎编了。另外输出格式加一句“只用原文回答，不要额外解释”也挺管用的，你可以试试看。

你这问题太真实了，我调的时候也踩过类似的坑。后来发现单纯加指令不够，得在prompt里把检索内容和用户问题用明确的标记区分开，比如“文档：xxx”和“问题：xxx”分行写，模型注意力会更集中。另外强烈建议加一句“如果文档信息不足，请直接说不知道”，配合温度调低点（0.1左右），能极大减少胡编。chunk质量当然也关键，但先把prompt结构稳住，效果提升更立竿见影。

试试在指令里加个“如果文档里找不到答案，直接说不知道”，效果会稳定很多。另外chunk质量确实很关键，内容太零散模型就容易放飞。