RAG里Prompt怎么写才能让大模型老实引用原文，不乱编？

说实话temperature=0和few-shot我都试过，治标不治本，最后发现关键是把检索片段和问题用XML标签隔开，再明确加一句“若参考文档未提及，禁止推测”。另外你可以在每个片段前标上编号，让模型回答时引用对应编号，这样它想编也得先找到出处，逻辑上就绕不开原文了。

我之前也踩过这个坑，后来发现问题往往出在“检索片段”和“问题”的拼接方式上。把参考文档单独用特殊标记包起来，比如【文档开始】...【文档结束】，再明确告诉模型“只能引用标记内的内容”，效果比单纯写“严格基于检索”要稳得多。另外，你提到的“不知道”指令模板特别关键，我一般会在System Prompt里加一句“若参考文档未覆盖问题，请直接回答‘根据现有资料无法确认’”，这能大幅减少胡编。关于temperature，我试过设成0，但GPT-4在0时依然会脑补，所以建议配合few-shot，给一个“原文说X，所以回答X”的正例和一个“原文没提，所以拒绝”的反例，模型会更容易模仿格式。还有个细节，检索片段如果太长，模型容易忽略关键句，我习惯先把片段按相关度截断到500字以内，再塞进prompt。最后，如果你用的是LangChain的RetrievalQA，记得把chain_type改成stuff，有时候map_reduce会拆散原文导致信息丢失。对了，你用的是哪个嵌入模型？感觉检索召回的质量也会间接影响生成阶段的忠实度。

试过在参考文档前后加特殊标记，再配合“没有就直说不知道”，比单改system prompt管用。

few-shot对格式约束挺强，但别太多示例，三个就够，温度设0.2左右比较稳。

我之前也遇到过这个问题，后来把参考文档和问题在User Prompt里明确分开，加上“如果文档没提到就直说不知道”这句，效果确实稳了不少。Few-shot我个人感觉挺有用的，尤其是放一个“原文没信息时该怎么答”的反例，模型会收敛很多。temperature=0能治标但不治本，它只是减少随机性，该编还是编，关键还是得让prompt里把“引用”和“推断”的边界划清楚。另外你试试在System Prompt里加一句“回答中所有事实性数字必须来自参考文档，否则标注为推测”，比单纯说“严格基于”要好使。

这个问题我刚好踩过坑，光靠system prompt真不够。我现在的做法是把参考文档用特殊标记放user prompt里，然后明确加一句“只引用标记内的原话，超出范围就回答不知道”，效果比单纯说“严格基于”好很多。temperature我直接设0，但更关键的是在prompt里加一个“如果原文没有对应信息，请输出：根据现有资料无法确认”这样的硬性兜底。Few-shot我没试过，但感觉对GPT-4来说可能没必要，反而容易让格式变乱。另外你可以试试把每个检索片段前面加上来源编号，让模型在回答里标注引用，这样它就不敢乱编了。

我之前也踩过这个坑，光改system prompt确实玄学。后来是把检索片段用XML标签包起来塞进user prompt，效果比单纯加分隔符稳很多，你可以试试。

另外temperature=0必须设，但别指望它完全解决幻觉，更关键的是在prompt里明确写“若参考文档未提及，回答‘文档未提供相关信息’”，这个比“不知道”三个字好用。

Few-shot我倒觉得没必要，除非你的输出格式很固定。还有个野路子，把原文里关键数字和实体抽出来在prompt里强调一遍，模型乱编的概率会小不少。

分开放很有用，我再加一句“没写就答不知道”，基本不乱编了。

我之前也踩过这个坑，光靠system prompt压不住GPT-4的自由发挥。后来我把参考文档直接塞进user prompt，用【引用片段】和【用户问题】隔开，效果确实比全放system里稳不少，你可以试试这个结构，让模型明确知道哪些是“证据”。

关于你问的指令模板，我觉得“如果参考文档没有明确信息，请直接说不知道”这句不是万能的，得配合一个“禁止推断”的约束，比如“只能使用片段中的数值和表述，不得补充常识或估算”。但说实话，这招对简单事实还行，遇到需要推理的复杂问题，模型还是会悄悄加戏。

Few-shot我试过，有点用但成本高，而且你得挑跟当前查询很像的例子，不然反而带偏。我更推荐先调temperature=0，然后配合一个“逐句标注来源”的prompt，让模型每句话后面标注是来自哪一段，这样它为了“对得上号”会老实很多。

另外一个小技巧：把检索到的片段按相关度排序，并在每个片段前加编号，然后在prompt里要求“回答时优先引用编号靠前的片段”，这能减少模型自己脑补的概率。你现在的LangChain链路里，有没有试过在retriever阶段就过滤掉低分片段？有时候是垃圾进、垃圾出，模型拿到模糊内容自然就编了。

说实话你这问题我太有共鸣了，之前调RAG的时候被“自由发挥”折磨到怀疑人生。我后来发现，单纯在System Prompt里喊口号没用，关键得把“引用边界”变成硬性任务，比如在User Prompt里明确写“你的回答只能基于【参考文档】中的事实，禁止任何推测或补全”，同时把文档用特殊标记包起来，跟问题彻底隔开，效果比混在一起好很多。

关于你问的模板，我试过最管用的一句是“如果参考文档里没有直接答案，必须回答‘根据现有资料无法确认’，并列出已找到的相关片段”，这比“不知道”更具体，模型更容易执行。Few-shot我个人觉得对GPT-4这种大模型帮助有限，反而容易让它模仿示例的句式导致格式僵化，不如把精力放在拆解检索结果和严格控制生成参数上。

temperature=0是必须的，但还不够，我还会加上top_p=0.1或者直接设成0，把采样空间彻底锁死。另外有个小技巧，把参考文档按相关性排序后，在Prompt里标注“优先级从高到低”，模型会更倾向引用靠前的片段。你现在的LangChain版本支持给检索结果加metadata吗？如果能在Prompt里注入来源索引，比如【文档1】【文档2】，再要求回答时标注引用编号，乱编概率会骤降。你现在的检索片段大概多长？如果太长可能也容易让模型抓不住重点。

我之前也踩过这个坑，后来发现光靠system prompt确实压不住幻觉。你提到的用【参考文档】分隔符我试过，效果有提升，但关键是要在user prompt里把指令写得更细，比如明确说“只允许使用参考文档中的数字和结论，禁止推断区间”。另外temperature调低到0.2以下确实能减少发散，但代价是回答会变死板，有些需要归纳的问题反而答不好。

关于few-shot，我个人的经验是别放太多，放一个正例和一个反例就够了，比如给一个“原文明确说X，模型必须答X”的例子，再给一个“原文没提Y，模型必须回复无法确认”的例子，模型就能更快学会边界。还有个小技巧，就是在每个检索片段后面加一句“以上信息仅限用于回答，不得补充外部知识”，感觉比写在开头管用。

你最后那个问题没打完，我想知道你现在的分段策略是什么样的？如果检索片段太长，模型容易抓不住重点，我后来会先把片段按相关性截成短句，再塞给模型，乱编的概率会小很多。要不你先试试把文档拆成更小的chunk，配合上面说的指令，看看能不能稳定住？

我之前也是被乱编坑惨了，后来把参考文档和问题用XML标签隔开，效果立竿见影。

我之前也踩过这个坑，你提到的“【参考文档】”标记法其实挺管用的，但关键是要在System Prompt里把“引用”这个动作定义成硬性任务，比如明确写“回答中必须包含与检索片段逐字匹配的关键数字或短句”，而不是笼统说“严格基于”。另外我发现，把检索片段按相关性排序后，只把Top3拼进User Prompt，反而比全塞进去效果好，因为内容太多模型容易挑自己顺眼的用。关于temperature，我试过调到0确实能减少发散，但代价是回答变得很僵硬，有时候连合理的推断都砍掉了，所以我会配合一个正则检查层，让输出里必须出现原文中的价格数字，否则就重试。Few-shot的话，我建议别用太长示例，给两个对比案例就行，一个正确引用、一个错误发挥被纠正，模型会更容易学规矩。还有个土办法，就是在Prompt末尾加一句“如果参考文档里没有答案，请直接回答‘根据现有资料无法确认’”，这句比“不知道”管用，因为模型对“不知道”有时会强行编一个。你现在的LangChain版本如果支持Callback，可以顺手把生成前的Prompt打出来看看，有时候问题出在检索片段被截断或格式错乱，模型根本没读到关键句。

我之前也踩过这个坑，光在System Prompt里强调没用。后来把检索片段用明确的标签塞进User Prompt，比如“以下是参考资料：”再单独换行，效果明显好了。另外temperature调低到0.1确实有帮助，但别完全设0，有时候会太死板。Few-shot我试过，太费token了，不如直接加一句“如果资料里没写，就回答‘未找到相关信息’”，比单纯说“不要编”管用得多。

我之前也遇到过这问题，后来发现把检索片段和问题用【参考文档】和【用户问题】分开写确实管用，模型更容易分清主次。另外在User Prompt里加那句“如果文档没提就直说不知道”比放System Prompt里效果好很多，你可以试试。Few-shot我试过，但太费token，不如直接把temperature调到0，再加上“只能引用原文数字”这种强约束，基本能压住乱编。不过偶尔还是会飘，建议最后加一步程序校验，比如抽取出数字跟原文比对，不匹配就重试一次。

我试过把参考文档用【】包起来放user prompt里，效果比system prompt稳定多了，你可以试试。

我之前也遇到过这问题，后来发现把参考文档直接塞进system prompt里反而容易干扰，现在我是放user prompt里用XML标签包起来，效果比markdown分隔符稳。你那个价格乱猜的情况，光靠temperature=0没用，因为模型还是会基于训练先验去补全，必须加一条硬性指令比如“只能引用原文出现的数字，否则回答无法确认”。Few-shot我试过，对简单场景有点用，但样本选不好反而会带偏格式，建议先试试把参考文档拆成更小的chunk，有时候是检索片段太长导致模型抓不住重点。另外可以对比下不同模型的遵循指令能力，GPT-4其实算好的，换Claude或者本地模型可能更离谱。

这问题我太有感触了，之前调RAG的时候也被“自由发挥”坑过。你提到的那三个方向其实都对，但光靠system prompt确实压不住GPT-4的生成惯性，我后来是把参考文档直接塞进user prompt，用【引用开始】和【引用结束】包起来，然后明确说“只允许使用引用中的事实，并且每个回答末尾标上对应引用编号”。另外温度调成0是必须的，但这只能减少随机性，治标不治本，关键是让模型在输出格式上“被迫”结构化——比如要求它先判断“引用中是否有明确答案”，没有就直接输出“信息不足”，而不是硬凑。Few-shot我个人试下来效果不稳定，除非你的示例跟实际问题的表述风格非常接近，否则反而会引导模型模仿示例的句式去编造。还有个野路子：可以在prompt里加一句“如果引用中出现数字，请原样输出，不要做范围推断或换算”，对价格、日期这类敏感信息挺管用。你用的LangChain的话，可以试试它的RecursiveCharacterTextSplitter加个重叠度，有时候检索片段切得太碎，模型找不到完整上下文，也会瞎补全。最后想说，你那个“价格约100-120元”的例子，说不定是检索时把相邻片段拼错了，建议先检查一下检索结果的排序和截断逻辑，有时候问题不在prompt而在召回质量。

温度调到0确实管用，但治标不治本，关键是让模型在没把握时学会说不知道。

试试把参考文档按段落编号，然后要求回答必须带引用标记，能明显减少自由发挥。

我之前也踩过这个坑，光靠system prompt确实管不住。后来我试了把检索片段用明确的xml标签包起来，比如...，然后指令里强制要求“只能引用doc标签内的原话”，效果比【参考文档】这种自然语言标记稳很多。temperature=0对减少发散有帮助，但治标不治本，关键还是让模型意识到“没查到=不会答”。Few-shot我试过，对简单事实类问题有用，但场景一变就得换示例，维护成本挺高的。另外你那句“价格约100-120”其实可能是模型在做语义推断，可以试试在prompt里加一句“禁止对数字区间进行推测，只输出原文出现的精确值”。

我之前也踩过这个坑，特别是GPT-4在长文本里特别容易脑补。你提到用【参考文档】标记这个思路是对的，但我建议把检索片段和问题分开放在不同的消息里，比如System里放规则，User里先放片段再放问题，这样模型对上下文的边界感会强很多。另外那个“不知道”的指令一定得写，而且措辞要更硬一点，像“如果参考文档中未直接包含答案，必须回答‘信息不足’，禁止推测”，亲测比“请严格基于”管用。Few-shot确实有效，但别放太多，两三个例子就够了，而且例子最好覆盖“有答案”和“没答案”两种情况，让模型学会区分。温度调0是基本操作，但光靠这个不够，因为采样随机性只是“乱编”的一个来源，更多是注意力分配的问题。我自己的做法是加一个后处理校验步骤，用正则或者规则检查输出里有没有出现原文的关键数值或实体，没有就强制重写，虽然笨但很稳。另外你用的是LangChain，可以试试它的RetrievalQA里那个chain_type换成stuff，有时候map_reduce会把上下文碎片化，更容易引发幻觉。还有个细节，检索回来的片段如果太长了，中间信息容易被忽略，可以按段落切分后只取和问题最相关的top-k，别一股脑全塞进去。