RAG里Prompt模板怎么写？试了好多感觉回答还是像在瞎编

我之前也踩过这个坑，后来发现光靠system prompt压不住模型，得在检索侧下功夫。比如把FAISS的相似度阈值调高一点，过滤掉那些低分但又被强行拼进context的片段，噪声少了模型自然没机会瞎编。另外试试在prompt里明确要求“每个结论都要带括号标注对应的文档编号”，模型被逼着对齐来源后，幻觉会少很多。还有个土办法，把“不知道”作为一个高优先级选项写进few-shot示例里，比单纯说“如果找不到就说不知道”管用。

试试在prompt里加一句“每个数字和结论必须能在原文里找到对应出处”，我这招对减少瞎编挺管用。

试试在prompt里加一句“每个结论必须能在上下文中找到原话支撑”，能压住不少幻觉，我这么改完效果好多了。

说实话你这问题太典型了，我当初调RAG也卡在这好久。你说的“强行扩写”我太懂了，本质上是生成模型觉得自己必须“完成任务”，哪怕上下文不够完整也要编个答案出来。我现在用的system prompt里会明确加一句“如果上下文信息不足，直接回答‘信息不足’，不要尝试补全”，同时把temperature调到0.1以下，能压住不少幻觉。另外检索噪声这块，我试过在prompt里让模型先逐条标注“相关/不相关”，只把相关片段拼进最终答案，虽然多花点token，但比直接丢一堆片段进去靠谱多了。还有个野路子，把检索到的文档片段按相关度排序后，在prompt里用分隔符明确标出“高相关”和“低相关”区域，并告诉模型优先参考高相关部分，低相关只能作为背景。你那个“先判断相关性再回答”的思路其实没问题，但可能顺序不对——最好让模型先输出一个“相关性判断”的中间步骤，再让它基于判断结果决定要不要回答，别让它一次性生成最终答案。还有个小技巧，把问题本身也重复一遍放在prompt末尾，提醒模型别跑偏，有时候效果出奇的好。你用的embeddings是OpenAI的吗？试试换bge或者E5这种对长文档更友好的模型，有时候检索结果看着相关，其实语义粒度不对，也会导致生成乱编。

试试让模型先提取关键证据再组织答案，并限定输出字数，能有效压住胡编的毛病。

我也有过这个阶段，后来发现光在prompt里强调“别编”没用，模型该发挥还是发挥。现在我会在模板里加一句“如果上下文中的信息不足以回答，请直接说‘信息不足’，不要尝试补全”，然后把温度调到0.1以下，效果好了不少。另外“检索内容噪声多”的话，建议试试在检索后加一道重排，先过滤掉明显不相关的片段再送去生成，比单纯改prompt管用。

我之前也遇到过一模一样的问题，后来发现光在system prompt里强调“别编”没用，模型该发挥还是发挥。我现在的做法是强制要求它先逐条引用原文片段再作答，比如规定“回答里每个关键数据都必须带[来源]标记”，这样它至少会收敛很多。另外检索回来的段落得先做个粗过滤，把明显不相关的top-k砍掉一半，噪声少了幻觉率也跟着降。你可以试试把“如果找不到答案就说不知道”改成“如果上下文不足，请直接列出缺失的信息”，效果可能会不一样。

试试在模板里加一句“如果上下文信息不足，直接回答‘信息不足’，不要推测”，我试了比“不要编”管用。

我之前也卡在这块挺久的，后来发现问题不全在prompt模板，而是检索链路本身。你提到FAISS检索出来的片段“相关性看着还行”，但有时候top-k里混着两三条看似沾边实则误导的噪声，模型拿到这些就容易被带偏。我现在的做法是强制在prompt里让模型先逐条引用上下文片段，标出它用了哪几句，再基于这些句子的组合来回答，一旦某条片段和大多数冲突，模型会倾向于忽略它，而不是硬融进答案里。另外，关于“编数据”这个事，纯靠prompt压效果有限，可以试试在检索后加一个轻量级的过滤步骤，比如用LLM对每个片段做一次二元判断“这条是否直接支撑问题”，过滤完再拼进上下文，成本不高但噪声能少一多半。还有一个比较土但有效的技巧：在system里明确写“如果上下文里的数据和常识冲突，请明确指出冲突，而不是试图调和”，这能减少模型强行圆场的情况。最后，如果你用的是gpt-4o或claude这类模型，建议把温度调到0.1以下，同时把max_tokens限制得紧一点，防止它为了凑长度乱扩写。你可以先试试把上下文按相关度排序后截断到前3条，同时要求回答里每个数字都要标注来源片段编号，看会不会好一些。

我之前也遇到过一模一样的问题，后来发现光靠system prompt压不住模型发挥，关键是在检索结果上做文章。我会在喂给模型前加一步硬过滤，比如用关键词或ner把明显无关的段落直接踢掉，再把剩下内容按相关度排序，效果比改prompt稳定多了。另外你试过在prompt里明确要求“只引用原文数字，禁止转述”吗？对治编数据挺管用的。不过还是好奇，你检索出来的top k一般取多少？感觉太多噪声也会带偏模型。

我之前也卡在这块好久，后来发现单纯在prompt里强调“别编”没用，得把检索结果拆成带引号的原文引用块，让模型必须逐句对着引文回答，哪怕句子不连贯也比硬凑强。另外你试试把“如果找不到就说不知道”改成“如果上下文里没有明确数值或事件，直接回答‘文中未提及’”，能挡掉不少瞎编的情况。还有个土办法，把检索到的每个片段前面加个来源编号，让模型在答案里标注用了哪几条，这样至少能看出它是不是在乱发挥。

试试把检索片段切成小段再逐段校验，只把高置信度的喂给模型，编造率能降不少。

试试让模型先引用原文片段再回答，强制它锚定检索内容，能压住不少瞎编的毛病。

我之前也遇到过这问题，后来发现光改prompt没用，得在检索侧下功夫。比如把chunk切小点，或者加个rerank环节，把噪声过滤掉再喂给模型，比单纯威胁它“别编”管用多了。另外可以试试让模型先逐条引用原文再总结，这样它没依据就不敢乱写。

分步走试试：第一步让它只输出“相关/不相关”的判断，第二步再让它基于判断结果回答。虽然慢一点，但稳定性高很多。另外你可以在prompt里加一句“如果上下文信息不足，明确说明缺少哪些数据”，比笼统说“不知道”更能约束幻觉。

补充个细节：system prompt里别用“不要”这种否定指令，模型反而容易反向操作。改成“从上下文中提取所有可验证的事实，对无法验证的内容标注[推测]”这类正向引导，效果会好不少。还有温度调低点，0.1左右，能明显减少瞎编概率。

试试把检索片段拆成短句逐条喂，再让模型用引号标注引用来源，编造率会明显下降。

试试让模型先逐条引用原文再回答，能明显减少编造，另外加个温度调低到0.2的配置。

检索噪声大的话，可以把top_k调小点，或者用重排序模型过滤一遍再喂给prompt。

我之前也卡在这块好久，后来发现光在system prompt里强调“只基于上下文”没用，得在user prompt里把检索结果分段标好序号，明确告诉模型“按编号逐条引用，没提到的信息一律不许写”。另外，你可以试试把temperature调低到0.1以下，再在prompt末尾加一句“如果上下文信息不足，请直接输出：信息不足”，这比让模型自己判断相关性靠谱得多。