RAG里Prompt怎么写才能让大模型老实引用原文，不乱编？

用分隔符把文档和问题隔开确实有用，我还会在每段前加【参考文档】并强调“禁止总结”。

这个问题我最近也踩了不少坑，说几个实测有效的点吧。第一，分段标记确实管用，但光加【参考文档】还不够，我习惯在用户prompt里用“以下文档是唯一依据：”这种明确指令，然后紧跟着把检索内容用引号包起来，模型会更倾向于直接复制引号内的文字。第二，temperature调成0是基础操作，但不要迷信，我试过即使temperature=0，如果prompt里没有明确拒绝推理的指令，它还是会脑补，比如你那个价格例子，它可能觉得100元太绝对就自动加了范围。第三，few-shot示例我试过，但效果反而有点不稳定，因为模型会试图去模仿示例的“格式”而不是“逻辑”，最后反而容易把示例里的输出风格套到所有问题上。我现在的做法是在system prompt里加一句“如果参考文档中未明确提及，请逐字输出‘未找到相关信息’”，同时把user prompt写成“基于以下唯一参考资料，回答用户的问题：\n参考资料：{docs}\n问题：{query}”，这样结构清晰很多。另外有个小技巧：在检索片段末尾加一句“请仅使用以上内容作答，不要添加额外解释”，对GPT-4的约束力比单纯说“严格基于”强不少。你试试看，应该能减少那种模棱两可的推断。

这个问题我上周刚踩过坑，说下我的实测经验。你在User Prompt里用标记把参考文档和问题隔开非常关键，我试过用【参考文档】和【用户问题】分开写，比混在一起让模型自己找要稳得多，尤其是文档里有多个片段时，模型更容易定位到具体句子。关于指令模板，我建议在System Prompt里加一句“如果参考文档中没有明确依据，必须回答‘根据现有资料无法确认’”，同时把temperature调到0.1，完全设成0有时候会让模型过度死板，连基本的同义转换都卡住。Few-shot我试过，但效果不太稳定，因为示例本身可能引导模型模仿句式而非逻辑，反而容易跑偏。另外我有个额外发现：把检索到的片段按相关性排序后，在【参考文档】里用编号标出，比如[1][2][3]，然后在回答里要求模型必须引用对应编号，这样能明显减少编造细节的情况。你试过在返回的片段里加一些冗余上下文吗？有时候片段太短，模型抓不住语境也会自己补全。

把参考文档用【】框起来单独分段，再加一句“没写就是不知道”，比单纯调温度管用多了。

温度调低加few-shot确实管用，但我发现把原文用引号括起来再强调“逐字引用”效果更稳。

老实说我也踩过这个坑，光靠system prompt确实不够稳。我现在是把参考文档用【文档开始】【文档结束】包起来单独放一段，然后明确写“如果以下文档里没有直接依据，回复‘无法从参考信息中确认’”。temperature降到0确实能压住一点幻觉，但偶尔还是会脑补关联信息，所以few-shot我试过两三个例子，效果比单纯指令好一些，尤其对数字和日期这种硬指标。不过最关键的还是得让模型意识到“没找到=不说”，这个逻辑要在prompt里反复强调才行。

实测temperature调低到0.1左右，再加个“未找到明确证据时拒绝回答”的指令效果挺稳的。

我最近也在折腾这个问题，实测把检索片段用【参考文档】标签独立放一段，再单独写问题，幻觉确实少了很多。temperature调低到0.1左右比直接设0更稳定，因为完全0会让模型过于死板导致漏掉关键信息。另外我试过在system prompt里加一句“如果原文没有明确数据，直接输出‘未找到’”，配合few-shot示例（给一个对的和一个错的对比），效果比单靠指令靠谱得多。你可以试试这几个组合。

few-shot确实管用，我一般给两三个示例再把温度调低，模型就老实多了。

这问题太真实了，我踩过一模一样的坑。你提到的“【参考文档】”标记法我试过，效果确实比一股脑塞进prompt好，但关键是要明确告诉模型“只能从这些标记里提取事实”，我还会在User Prompt末尾加一句“如果原文没有明确数值，请复述原文表述而非推测”。关于温度，个人经验是光设0不够，因为GPT-4的“创造性”有时候连温度都压不住，我后来干脆在System Prompt里写死“你是一个只会逐字摘抄的AI，任何改写都算违规”。Few-shot我试过给两个对比例子，一个正确引用，一个编造内容被纠正，模型确实更警觉，但代价是token消耗翻倍。不过最让我头疼的是检索到的上下文本身就含混的情况——比如文档里写“成本约50元”，模型还是会乱推断成“50-60元”，这时候我试过用“若原文使用不确定性词汇（约、大概），请在回答中保留同样措辞”这条规则，稍微稳了一点。你目前是单条文档检索还是多段混合？多段混合时模型更容易把不同来源的信息拼凑出幻觉，我后来强制要求每次只引用一个片段，准确率反而升了。

这个问题我也踩过坑，单纯靠system prompt真的压不住GPT-4的“创作欲”。我的做法是把参考文档用“【原文】”和“【用户问题】”明确分块，然后在指令里加一句“如果原文没有明确数值，只输出原文内容，不要做任何推断或补充”。另外temperature设到0.1以下确实有效，但不要完全0，否则遇到模糊表述时模型容易直接重复整段原文。

这问题我也踩过坑，光靠system prompt确实压不住GPT-4的“创作欲”。我的做法是把参考文档用“【原文开始】...【原文结束】”包起来，然后在user prompt里加一句“请逐字比对原文，禁止推测或合并信息”，同时temperature设到0.1以下，效果稳很多。另外few-shot确实有用，特别是给一个“原文说X，回答X”的正面例子，比单纯加警告指令更管用。

我一般把文档块用标签包起来，再加一句“只引用标签内的内容”，效果会好很多。

把参考文档用标记隔开确实有用，再加个“未提及请说不知道”的指令，效果会稳很多。

其实温度调低确实能缓解一些，但治标不治本。我自己试下来最管用的是把参考文档拆成小块，在user prompt里用“文档1：”“文档2：”标清楚，然后加一句“如果以上文档都没提到，请回答‘未找到相关信息’”。Few-shot也挺有用的，给两个正反例子模型立马就老实多了。不过温度0还是建议配合用，毕竟乱编的概率能降不少。

实测把参考文档用【】包起来放在问题前面，再加句“禁止添加原文没有的数据”，效果比单写system prompt好不少。

你这个情况挺典型的，我试下来最管用的是在每段检索内容前面加个【参考文档】标记，然后在user prompt里明确写一句“请只使用【参考文档】中的内容作答”，比单纯写在system prompt里效果好很多。temperature调成0确实能减少自由发挥，但遇到模糊表述还是会瞎编。另外few-shot我试过几个案例，对控制格式挺有用，但对“不乱编”帮助不大，关键还是得让prompt把引用边界说死。

你这个问题我太有同感了，刚搭RAG那会儿我也被GPT-4的“自由发挥”坑过好几次。关于你的第一个点，把检索片段和问题分开写确实有用，我习惯用“【参考内容】”和“【用户问题】”两个显式标签隔开，然后在指令里强调“只从【参考内容】中提取答案”，效果比混在一起好不少。第二个点里的“不知道”指令也很关键，我还会加一句“如果参考内容中存在矛盾信息，请指出矛盾点”，这样模型至少不会自己编个平均数出来。至于temperature，我个人的经验是0确实能压住大部分幻觉，但偶尔会让回答变得过于死板，比如遇到模棱两可的表述时直接复制整段话——所以我现在会配合一个后处理脚本，检查输出里有没有原文没出现的数字或结论。另外我试过Few-shot，但发现如果示例和实际问题的格式差异太大，反而会引导模型去模仿示例的“润色”习惯，不如直接写死Prompt规则来得稳。最近我在探索把检索片段按句子切分后，用向量相似度标出最关键的那几句，然后让模型只引用带高亮标记的内容，目前看效果还不错，你可以试试这个思路。

你这情况我遇到过，光靠system prompt确实不够稳。我现在会把参考文档用标签包起来放在user prompt开头，然后明确写一句“如果文档里没有就直接说不知道”，效果比纯靠指令好不少。temperature调低到0确实有帮助，但few-shot我试过反而容易让模型过度模仿格式，不如直接给一个清晰的输出模板。另外你试试在prompt里加一句“请逐句核对原文再回答”，有时候能减少自由发挥。

温度调低确实管用，我一般设0.1，再加一句“若原文无依据就说不知道”就好很多。