RAG里Prompt怎么写才能让大模型老实引用原文，不乱编？

把参考文档和问题分开塞进user prompt里确实管用，再加个“没有就直说不知道”的硬约束，比光调温度强多了。

我之前也踩过这个坑，光靠system prompt确实压不住幻觉。后来我把检索片段直接塞进user prompt，用【参考文档】和【问题】隔开，效果立竿见影，模型明显更“粘”原文了。温度调0是必须的，但few-shot也值得试试，尤其是给一个“文档里没写就回答不知道”的示例，比单纯说教管用。另外可以试试在指令里加一句“如果原文有具体数字，必须原样引用，禁止估算”，对这种价格类问题特别有效。

分不清原文还是发挥，试试把检索内容原样贴进user prompt里加粗，效果比system管用。

试过把参考片段放user prompt里用【】框起来，再加一句没写就直说不知道，比单改system稳很多。

温度调0加上few-shot双管齐下最保险，不过关键还是得让模型知道“没查到=不许编”。

温度调低确实管用，但治标不治本，试试把检索片段拆成小块再配few-shot，效果稳很多。

我之前也踩过这个坑，光靠system prompt压不住GPT-4的自由发挥。后来把检索片段用【参考文档】单独放在user prompt里，效果确实好不少，模型会把引用和问题区分得更清楚。另外你提到的“不知道就直说”这个指令一定要加，我还会补一句“禁止推测价格、日期等具体数值”，配合temperature=0基本能压住乱编。Few-shot我试过，但感觉对简单场景收益不大，反而更吃token，不如把精力花在调prompt结构上。

其实关键是把检索片段和问题用分隔符明确隔开，再加一句“没写就答不知道”，比单纯靠temperature管用。

我最近也踩过这个坑，光靠system prompt真不够。把检索片段单独用【参考文档】包起来放user prompt里，效果立竿见影，模型会明显更倾向于引用你标出来的内容。另外temperature=0确实有用，但别全指望它，few-shot给一个“原文没说就答不知道”的例子，比写十句指令都管用。对了，你还可以试试在片段前加个“以下为唯一信息来源”的强约束，我试下来比单纯说“严格基于”稳很多。

你这个情况我太熟了，之前调RAG的时候也被“自由发挥”坑过。关于第1点，强烈建议把参考文档和问题分开，我习惯用【文档开始】和【文档结束】包起来，再明确说“只依据上述文档内容回答”，效果比单纯扔在System里稳很多。第2点那个“不知道”指令一定要加，但别只写一句，最好再补个“若文档信息与问题无关，直接回复无法回答”，模型对明确边界更敏感。Few-shot我试过，有用但别贪多，两三个对比例子就够，重点展示“原文有就引用、没有就拒绝”的反差场景，多了反而会让模型学到模式化输出。temperature=0不是万能，它只是减少随机性，治不了模型“脑补”的逻辑惯性，关键还是得靠Prompt结构把“引用”变成硬约束。另外我有个小技巧，在User Prompt末尾让模型先输出“根据文档，答案是……”，再让它解释，这样它被迫先锚定原文。你那个价格100变120的问题，大概率是模型把检索片段里的其他数字串了，试试把每个文档片段编号，让回答时标注“文档2提到价格100元”，能明显减少串信息。

我之前也踩过这个坑，光靠system prompt压不住GPT-4的自由发挥。后来发现关键是把“引用边界”前置到user prompt里，也就是说检索片段和问题必须物理隔开，我用【开始引用】和【结束引用】包裹，后面紧跟一句“所有回答内容必须且只能来自引用块”，效果比单纯说“严格基于”稳得多。

关于你说的“不知道”指令，我试过在prompt里加“若引用中没有明确答案，回复‘未检索到相关信息’”，比“说不知道”更有效，因为模型对具体输出格式的服从度更高。temperature=0确实有用，但别指望它解决所有幻觉，它只是让采样更保守，如果检索内容本身有歧义，模型还是会“合理推测”。

Few-shot我建议只放一两个正反例，比如一个“引用中有确切数字，回答直接照抄”的例子，再加一个“引用里没有明确数值，必须声明缺失”的反例，比放一堆完整对话要省token，而且模型更容易抓到你强调的“不添加额外信息”这个点。

还有个细节你可能没注意——检索片段本身如果带噪声，模型会“融合”多个片段的信息，哪怕片段之间矛盾。我后来会把每个片段单独编号，然后让模型“优先参考编号靠前的片段”，或者“如果片段间冲突，以第X段为准”，这样能减少它自己脑补出“区间”的情况。

最后你提到LangChain，试试它自带的output parser，强制模型输出JSON格式，里面单独有个“引用原文”字段，再配合一个“不引用时留空”的约束，逻辑上就锁死了。不过这套东西调起来有点烦，但一旦跑通，基本告别乱编。

温度调低确实立竿见影，但真正治本还是得靠few-shot把“拒绝回答”的样例喂够。

试试把参考文档和问题用特殊分隔符分开，再明确加一句“若信息缺失就回答不知道”，效果会稳很多。

你这几个点我基本都踩过，现在我的做法是User Prompt里用【参考文档】和【问题】分开，然后明确加一句“只能引用文档原话，若文档没提就回答无法确认”。Few-shot确实比纯指令管用，我给了两个对比示例模型就老实多了，temperature=0也不是万能的，有时候反而会让它硬凑。另外建议把检索片段按相关度排序放前面，太杂了它容易看漏关键句。

我最近也踩过这个坑，后来发现把检索片段和问题严格分开确实管用，但关键是在参考文档前后加特殊标记，比如用XML标签包起来，然后明确告诉模型只能引用标签里的内容。另外temperature设成0只是减少随机性，并不能根治乱编，我觉得few-shot比它有效，给一两个“原文没提就拒答”的例子，模型会学得很快。你还可以试试在提示词里加一句“如果原文有数值，必须原样输出，禁止改写或估算”，比笼统的“严格基于检索内容”要好使。

试试把参考片段和问题分开塞，加个“没写就说不确定”，比单纯调temperature管用。

我之前也踩过这个坑，后来发现把检索片段直接塞进User Prompt里，用【参考文档】和问题隔开确实比只放System Prompt管用。不过光是标记还不够，我会在最后加一句“只允许引用参考文档中的原话，如果文档里没提，就回答无法确定”，比单纯说“严格基于”效果稳很多。temperature=0我试过，能减少发散但没法根治，感觉Few-shot反而更重要，给一两个“原文有/无信息”的正反例，模型一下子老实了。你现在的检索片段会不会本身太长？有时候上下文一多，模型就容易挑着改，可以试试只截取最相关的几段。

我之前也踩过这个坑，光改system prompt确实没用。我的做法是把检索片段用【参考文档】单独隔开，后面明确写“回答时只能引用该文档中的原句，禁止推测价格区间这类信息”，效果比单纯说“严格基于”好很多。

few-shot对控制格式挺管用的，尤其放一个“原文没写就答不知道”的示例，模型基本能照做。temperature=0能减少发散，但治标不治本，根子还是指令得把边界划清楚。

另外你可以试试在user prompt里直接加一句“如果原文没有明确数值，请原样输出‘未提及’”，比让它自由转述稳得多。

试试把检索片段放user prompt里并用【参考文档】隔开，再加上“没有就直说不知道”，比单改system prompt稳很多。

这个问题我最近也踩过坑，你这三个问题其实是一个核心：模型分不清“参考”和“联想”的边界。我试下来，把参考片段放User Prompt里并用【参考文档】单独标记确实比塞System Prompt管用，但更关键的是要明确告诉它“这段文字是唯一事实来源，不是背景知识”。另外，光说“不知道”不够，我一般会加一句“若参考文档未提及，直接回答‘文档中未找到相关信息’，禁止推测”，这样能堵住它编造的口子。温度设0确实有帮助，但别指望完全解决，因为GPT-4在长上下文里还是会“顺手”调取训练记忆。Few-shot我试过，如果示例里包含“原文说X但模型答Y”的反例，效果会好很多，但别放太多，否则会挤占上下文空间。还有个偷懒技巧——在提问前加一句“以下回答只能使用【参考文档】中的原词或同义改写”，然后把参考文档里的关键数字、名称加粗或高亮，模型对标记敏感度会更高。最后提醒下，LangChain的Retriever返回片段顺序也会影响，把最相关的放最前面，模型“守规矩”的概率会明显上升。

我之前也踩过这个坑，光在System Prompt里喊口号真的没用，模型该飘还是飘。后来我把检索片段直接塞进User Prompt，并且用【参考文档】和【用户问题】这种硬分隔符隔开，效果立刻好了不少，感觉模型对“输入结构”的敏感度比对“指令文本”高得多。另外我强烈建议你在User Prompt末尾加一句“如果参考文档中完全找不到依据，请只回答‘我无法从提供资料中确认’”，这句比“不要编造”好使，因为它给了模型一个明确的兜底出口，而不是让它硬着头皮猜。关于Few-shot，我试过加一两个“原文无信息→回答不知道”的正反例，确实能压住发散，但别加太多，否则会挤占上下文空间，反而干扰对当前片段的注意力。temperature=0我倒是觉得只能算辅助，它保证采样稳定，但没法解决模型“基于常识补全”的倾向，还是得靠Prompt里那种“引用原文时请加引号”的约束来得直接。对了，你用的GPT-4，其实还可以试试在检索片段前加一行“以下是用户提供的唯一事实来源”，再配合一个解析函数去检查输出里有没有出现原文之外的数字，双重保险。我现在的方案是：User Prompt里先放【参考文档】，再放【问题】，最后固定一句“严格依据上述文档回答，若文档未提及，请明确说明”，外加两个极端示例，跑了几百条测试，乱编率从三成降到了不到5%。

我之前也踩过这个坑，光靠system prompt真的没用，后来把检索片段用【参考文档】单独隔开，再明确加一句“仅当文档中出现才可引用”，幻觉明显少了。温度调0确实有帮助，但别全指望它，few-shot放一个“文档没提就答不知道”的例子比写十句规则都管用。另外你试试让模型先输出“文档里有哪些相关句子”，再基于这些句子回答，相当于强制它走一遍检索-引用的路径，比直接生成答案稳很多。