RAG系统里，Prompt怎么写才能让大模型不“跑偏”？

这个问题我也踩过坑，光说“基于文档回答”太弱了，模型会默认自己有知识库就自由发挥。我现在的做法是在prompt里明确加一句“严格遵循文档原文，不要使用你自身知识库中的信息”，同时把每个检索片段开头标上来源编号，要求回答时必须引用编号，如果文档里确实没有就直接说不知道，这样跑偏概率小了很多。你试过把文档分段加标签再约束引用吗？

这问题我太熟了，RAG落地里最恶心的坑之一就是“检索召回没问题，模型自己放飞自我”。你那个“基于以下文档回答”确实太弱了，对开源模型来说约束力约等于零。

核心思路其实就两件事：一是让模型明确知道“文档是唯一信源”，二是给它一个“拒绝回答”的安全出口。你提到的“如果文档中没有相关信息，请直接说不知道”很重要，但还不够，得把“不知道”的触发条件写具体。比如我常用的prompt结构是：“你是一个严谨的问答助手，只能使用用户提供的上下文内容回答问题。如果上下文中没有明确提及，或者上下文的描述存在冲突，必须回答‘根据现有资料无法确认’并给出原因，禁止自行推断或补充外部知识。” 这里“禁止自行推断”这个指令对很多模型是有效的。

另一个实战技巧是把文档分段加标签引用，我管它叫“证据链约束”。比如把文档切块后，每段前面加个[来源N]，然后prompt里写：“请严格引用[来源N]中的原文来生成答案，如果多个来源信息不一致，需对比指出差异，不要融合出一个不存在的答案。” 这样模型会被迫去“看”具体哪段文本，而不是凭记忆胡编。你还可以试一下在prompt末尾加一句“输出格式：答案+引用来源编号”，这种结构化的强制输出能倒逼模型去检索。

还有一点容易被忽略：文档本身的质量。如果检索到的文档片段里包含了大量无关噪声或者表述模糊，模型也会被带偏。你可以检查一下chunk的切割逻辑，比如按语义段落而不是固定token长度切，或者加一个reranker把最相关的top1-3段喂给模型，减少信息冗余。

最后，不同开源模型对指令的服从度差异很大。如果是7B量级的，别指望它太聪明，prompt得写成“死命令”语气，比如“必须”、“只能”、“绝对不要”，温和的“建议”它根本不当回事。你试试这些调整，大概率能压住幻觉。

你这情况太真实了，我也踩过类似的坑。单纯说“基于以下文档”确实不够稳，我后来试过在prompt里加一个“必须逐句引用文档原文来回答，不能自己总结”的约束，效果好了不少。另外把文档分段编号，让模型在回答时标注引用来源（比如“根据第X段”），也能明显减少它瞎编的冲动。不过说实话，开源模型本身对指令的跟随能力有限，有时候还是得换个大一点的基座模型才更省心。

你这问题我太有同感了，光说“基于文档回答”确实不够稳。我试过把每个文档段落前面加个“【来源X】”标签，然后在prompt里明确要求“必须逐字引用带标签的原文，禁止自行总结”，效果好了不少。另外“不知道就直说”这个约束一定要加，不然模型宁可选个最像的瞎编也不认怂。你们用的是什么开源模型？有些小模型对指令跟随能力弱，可能得换Qwen2或Yi-34B这类稍微调教过的。

这个问题确实戳中了RAG落地中最让人头疼的一个点——明明检索没出问题，但模型就是“不听话”。我最近半年都在搞一个面向技术文档的RAG问答系统，用的也是开源模型，从Llama 2一直试到Qwen 2和DeepSeek，踩过的坑大概能写一本《Prompt血泪史》。你说的情况我太熟了，甚至遇到过模型不仅忽略文档，还自己发明了一个参数值，差点让客户的生产线参数表直接报废。

先别急着怪模型“笨”，这个问题本质上不是模型能力不够，而是prompt在引导模型做一件反直觉的事：让它既保持知识蒸馏的创造性，又强制它做精确的文本复制。大模型训练时被鼓励的是“总结”“推理”“联想”，你突然让它做“逐字照搬”，这本身就违反它的行为惯性。所以问题出在prompt没有把“引用”这个行为编码成模型能理解的模式。

先说你提到的“强制约束”思路，比如加一句“如果文档中没有相关信息，请直接说不知道”。这个我试过，在benchmark上能涨2-3个点，但实际场景里会引发新的问题：模型会把“文档里没写”的判断标准收得非常紧。比如用户问“这个产品的功耗是多少”，文档里写的是“典型功耗12W，最大功耗15W”，模型因为没看到“功耗是多少”这个精确表述，直接判为“文档未提供”。结果就是召回率暴跌。更麻烦的是，有些模型会把这个“不知道”泛化，连多轮对话里之前的上下文都忘了。

后来我换了个思路，不直接写“不知道”，而是用格式约束。比如在prompt里明确说：“你必须从文档中逐字引用至少一个句子作为答案的依据，并在引用后标注段落编号。如果无法找到任何可引用的句子，则输出空字符串。”这种方式利用了模型对“格式模板”的服从性——它宁可去找一个不太匹配的句子，也不愿意输出空串。实际测试下来，引用准确率从62%提到了81%，但代价是推理变慢，因为模型要扫描整个文档去找可引用的句子。

不过，真正的突破来自对文档结构的预处理。你提到“把文档分段加个标签再引用”，这个方向是对的，但光加标签不够。我现在的做法是：在把文档切片喂给prompt之前，先做一层“关键信息对齐”。具体来说，我会对每个文档片段自动提取一个“断言集合”，比如“[事实断言1] 产品型号X100的峰值功率是200W。 [来源：文档第3段]”。然后在prompt里，我要求模型只根据这些断言来回答，而不是读原始文档。这相当于在模型和文档之间加了一层“事实保险丝”。模型如果试图编造，它必须绕过这些显式写出的断言，而这比忽略一段自然语言文本要难得多。我用这个方案跑了一批工业参数问答，幻觉率从34%降到了7%。

但这里有个陷阱：断言提取本身会出错。如果你的提取器把“峰值功率200W”误写成“峰值功率300W”，那模型就完美地复制了这个错误。所以提取过程必须配合一个验证机制，比如用另一个小模型做交叉校验，或者用正则表达式对数字、单位做强制匹配。我自己的做法是：对于数值型参数，提取后直接转为结构化键值对，然后在prompt里用JSON格式传给模型，告诉它“以下JSON是唯一允许引用的数据源”。这样模型连自然语言理解的环节都跳过了，直接做键值匹配，幻觉率接近零。当然，这只适用于参数问答这类结构化场景，开放式问答不适用。

再来说一个容易被忽略的点：prompt中“文档”和“问题”的放置顺序。我做过AB测试，把文档放在问题前面，和把问题放在文档前面，模型的表现天差地别。当文档在前、问题在后时，模型更容易从文档中提取信息，但回答会更冗长、更倾向于复述文档；当问题在前、文档在后时，模型会先理解问题意图，然后带着目标去文档里找答案，回答更精准但更容易“找不到就编”。我最后选择的是“问题—中间摘要—文档”的结构：先写问题，然后让模型自己对文档做一段摘要（不输出），最后再基于摘要回答。这相当于让模型先做内部笔记，再答题。虽然增加了token消耗，但准确率稳定提高了10个百分点。

还有一点你可能没想到：模型“忽略文档”有时候不是因为prompt，而是因为文档本身被切片切得太碎了。很多RAG系统把文档按固定长度切块，结果一个完整的参数表被切成两半，模型拿到的是半张表。我遇到过最离谱的一次，模型回答“温度范围-20℃到60℃”，实际上文档里写的是“存储温度-20℃到60℃，工作温度0℃到40℃”，因为切片把“存储”和“工作”切到了不同片段，模型选了那个它觉得“更合理”的。所以切片策略必须结合文档结构，至少要做到段落级别，最好能做到表格级别。我现在用的是基于文档标题树的递归切片，保证每个片段语义完整，然后在prompt里明确告知每个片段的标题路径，比如“本文档来自[产品规格]章节下的[环境参数]小节”。模型有了上下文锚点，就不太会跨章节乱引用。

最后，分享一个我自己写的通用RAG prompt模板，经过多个模型测试，在Qwen 2 72B和DeepSeek V2上的表现比较稳定。核心思路是“角色设定 + 三步指令 + 反例约束”。

“你是一个严格遵循文档的问答助手。你的任务分三步：第一步，仔细阅读以下文档片段，找出所有与用户问题直接相关的句子；第二步，将这些句子逐字摘录出来，并在摘录后标注来源片段编号；第三步，只使用这些摘录的句子组织回答，不得添加任何摘录中没有的信息。如果你发现摘录中的信息相互矛盾，请指出矛盾并引用原文。如果你找不到任何与问题相关的句子，请只输出一句话：根据提供的文档，我无法回答该问题。注意：请不要对文档内容进行推理、总结或补全，除非用户明确要求解释。以下是文档片段：”

这个prompt的关键在于“三步指令”把模型的思维过程显式分拆了。模型在输出摘录时，实际上是在做一次“自检”——它不敢编造，因为编造的内容在第一步就过不了关。而且“指出矛盾”这条指令特别重要，它利用了模型对“发现错误”这件事的偏好，让它把注意力放在文档内部的逻辑一致性上。

当然，这个模板不是银弹。如果你的文档本身质量差，比如有错别字、数据矛盾，模型会完美地放大这些错误。所以RAG系统的上限始终是文档质量，prompt只是不让它掉得更低。另外，不同模型对这个模板的响应差异很大。Llama 3 8B就经常在“摘录”阶段自己重写句子，而Qwen 2 7B则老实得多。建议你在自己的模型上多做几次A/B测试，重点看“摘录准确率”和“回答忠实度”这两个指标。

最后说一句扎心的话：你遇到的这个问题，其实说明你的检索系统做得不错——如果检索结果都是错的，模型反而会老老实实地基于错误文档回答，你反而不容易发现幻觉。真正难搞的就是这种“文档对但模型偏”的软错误。加油，这个坑爬过去之后，你会对模型的行为有更深的体感认识。

加个引用格式试试，比如让模型直接输出“根据第x段：xxx”，效果会好很多。

这个问题太真实了，我前段时间也被这个折磨得不轻。你那个“基于以下文档回答”确实太弱了，开源模型尤其容易放飞。我的经验是，光加“不知道”还不够，还得明确告诉它“禁止修改原文参数数值，如果文档里写的是A，输出必须是A”，甚至可以把关键字段单独拎出来写进约束里，比如“对于产品参数，必须逐字引用原文，不允许推理或重述”。另外分段加标签确实有效，我试过把每个段落前面标个[段落1][段落2]，然后在prompt里要求模型只能从特定标签里找答案，幻觉率明显降了。不过有个坑要注意：有些模型对标签格式敏感，你那个写法它可能不认识，得自己试几种模板。你用的是哪个开源模型？不同模型对指令的服从性差挺多的，像Qwen系列就比某些小模型好调教一些。还有一点，如果检索到的文档里有多个相似片段，模型容易混，我后来干脆把prompt改成“如果多个文档存在矛盾，以第一个文档为准”，虽然粗暴但确实稳。

分段加标签确实管用，再配合“引用原文”的约束，能压住不少幻觉。

这个问题我也踩过坑，特别是开源模型对指令的遵循能力参差不齐。我自己的做法是，除了加“不知道就说不知道”这类约束，还会在prompt里明确要求模型用原文中的原话或同义改写来输出，比如“请从文档中提取具体数值/名称，不要做额外推断”。另一个好用的技巧是把文档拆成小段，每段前面加个类似[1][2]的编号，然后prompt里写“请引用对应编号的内容来回答问题”，这样模型更容易聚焦。不过我发现还有个隐藏问题：有时候不是prompt不够强，而是检索到的文档里相关片段被长文本稀释了，模型注意力分散。所以我会在检索后做一步重排序，只把最相关的3-5句喂给模型，效果比塞一整段好很多。另外可以试试在prompt末尾加一句“如果你不确定，请直接输出‘无法确认’”，比单纯说“不知道”更防幻觉。你用的哪个开源模型？有些模型对角色扮演式的prompt（比如“你现在是一个严谨的客服，必须逐字核对文档”）响应更好，可以对比测试下。

说到这个我太有感触了，之前用Llama2搭RAG时也踩过同样的坑，明明检索top1的文档里答案写得清清楚楚，模型愣是自由发挥。后来试了个笨办法但挺管用：把prompt拆成两步走，第一步让模型先判断文档里有没有明确答案，第二步再基于判断结果决定回答还是拒绝。比如加一句“请先逐句核对文档内容，如果存在冲突信息，优先采纳文档原文”。另外你提到的分段加标签我也试过，效果确实有提升，特别是在处理长文档时，给每个段落标上【参数】【背景】这类标签，再让模型按标签定位回答，能减少它自己脑补的概率。不过有个坑要注意，开源模型对指令的跟随能力差异很大，我换过几个基座模型后发现，Qwen2.5对这类结构化prompt的响应比Llama3更稳定。对了，你用的具体是哪个开源模型？说不定可以针对性调一下system prompt里的约束语气，比如把“请基于文档回答”改成“你必须严格引用文档原文，禁止添加任何未经文档证实的信息”，强硬一点反而效果更好。

试过把文档拆成小块加编号，让模型按序号引用，跑偏情况少了很多，你可以试试。

加个“请严格引用原文回答，不要自行推断”试试，我这么改后效果好多了。

这个我太有同感了，刚搭RAG的时候也踩过这个坑。你提到的“基于以下文档回答”确实太弱了，模型很容易放飞自我。我后来试了个比较有效的写法：在prompt里明确告诉模型“你只能使用下面文档里的原文来回答，不要添加任何外部知识或推测”，同时把文档分段加上编号，比如“[文档1]产品参数：A”，然后在回答要求里强制它引用编号，像“根据文档1，参数是A”。这样模型出错的概率低了很多。另外你提到“不知道就说不知道”这个约束也很关键，我一般会加一句“如果文档内容不足以支撑回答，直接回答‘未找到相关信息’”，能减少幻觉。不过有个坑：开源模型对指令的遵循能力参差不齐，有些小模型就算你写了约束它还是会跑偏，这时候可能需要换一个指令遵循能力更强的基座模型，或者试试在few-shot示例里放几个“错误回答被纠正”的例子。还有一点，检索到的文档如果太长或者有不相关信息，模型也容易混淆，我习惯在prompt里强调“只关注与问题最直接相关的段落”。你可以先试试把约束写得更具体，再调整下模型，效果应该会提升不少。

可以试试让模型先引用原文再作答，强制它“指哪打哪”。

同感，这个问题在开源模型上尤其明显。我试过在prompt里加“必须严格引用原文对应段落编号”的指令，效果比单纯要求“基于文档”好不少。另外可以试试把检索内容分段标号后，在回答里强制要求模型输出引用标记，这样它编答案时会有负担。还有个细节：把用户问题重复一遍放在文档前，模型会更聚焦。

加个强制指令让模型逐句引用原文，不然就拒绝回答，亲测能压住幻觉。

我之前也踩过这个坑，后来发现光加“不知道”约束还不够，得明确让模型按文档顺序逐句推理。比如在prompt里写“请先列出文档中与问题相关的原文，再基于这些原文给出答案”，这样能强制模型引用证据，编造率明显降了。另外试试把检索到的文档按相关性排序，并在prompt开头强调“优先使用排名靠前的文档内容”，开源模型对位置权重敏感，这招挺管用的。

我也遇到过这个问题，感觉光是“基于文档回答”太笼统了，模型容易放飞。后来我试了在prompt里加一句“请严格引用原文内容，不要自行添加或推测信息”，效果好了不少。另外把文档分段编号再让模型引用具体段落号，也能减少它瞎编的情况。你用的开源模型具体是哪款？不同模型的指令遵循能力差异还挺大的。

这个问题我太有同感了，之前调RAG的时候也被这种“睁眼瞎”行为折磨过。你那个加“不知道”的约束确实管用，但我发现光加这一句还不够，模型有时候还是会强行编。我现在的做法是，在prompt里明确把检索到的文档拆成小块，每段前面加个类似【来源1】【来源2】的标签，然后要求模型在回答时必须引用具体标签，比如“根据【来源2】显示，参数是A”。这样它就不敢随便瞎编了，因为一旦引用错误很容易被验证出来。另外，我还试过在prompt最后加一句“请严格依据上述文档内容回答，如果文档中没有明确表述，不允许进行任何推测或联想”，语气强硬一点效果会好很多。不过也要注意，不同开源模型对指令的服从性差别挺大的，像Qwen系列就比某些小模型听话得多。你用的是哪个模型？如果本身指令遵循能力弱，可能还得配合few-shot示例，给两个“文档内容这样→回答那样”的正反例子，它会更明白你的意图。

试过把文档拆成小块加序号引用，模型跑偏的情况少了很多，你也可以试试这招。