RAG里用Prompt让LLM“只基于检索内容回答”，但总是失效怎么办？

这问题太真实了，我试过好几轮也是这德行。后来发现光靠prompt压不住，得从检索源头下手，比如把召回阈值调高，或者直接在后处理时把无关字段过滤掉。另外可以试试few-shot，给一两个“宁可说不知道”的示例，比单纯下指令管用。你用的是纯向量检索吗？感觉混合检索加个关键词匹配能稍微缓解点。

这问题太真实了，我试过把“只基于检索内容”加粗甚至重复三遍，GPT-4照样脑补。后来发现光靠提示词压不住，得从源头卡：检索没召回到价格信息时，干脆让LLM输出“未找到相关数据”，比让它自由发挥靠谱。另外可以试试把检索内容里没有的部分单独拎出来，在prompt里明确说“如果用户问的字段不在下列列表中，直接拒绝回答”，比笼统的“别用内部知识”有效得多。你现在的chunk粒度是不是太大了？有时候片段里混着不相关的句子，模型就容易被带跑。

这问题太真实了，我试过把prompt写成“你是复读机，只允许转述”都没用。后来发现根子不在prompt，是模型对“置信度”的感知——它检索到的内容如果跟用户问题差太远，它就会用自己的知识去补洞，哪怕你写了“禁止”。你那个价格例子，本质上就是检索片段里压根没有“价格”这个实体，LLM觉得不回答显得自己没用，于是强行生成一个最可能的。我现在的做法是两步走，第一步先让LLM判断检索内容是否覆盖了问题，输出“相关”或“不充分”，不充分就直接回复“抱歉，文档里没提”，绝不进入生成环节。第二步才是生成，而且prompt里会加一句“如果检索内容中缺少任何具体数值、时间、价格，必须明确说‘原文未提及’”。另外可以试试把temperature调低到0.1，甚至0，能减少幻觉概率，但不能根治。还有个坑是chunk大小，如果分段太细，价格信息可能散落在另一个chunk里没被召回，那你怎么写prompt都没用——建议干脆把检索top-k从3提到5，然后对候选片段做个简单的“问题实体+答案实体”共现检查，缺了就触发上面的“不充分”分支。

这个问题我也踩过，光靠prompt确实很难完全管住模型，尤其是GPT-4这种知识量大的，它天生就爱“补全”。我后来是在检索后加了一步相关性判断，如果召回的片段跟问题不匹配，就直接走兜底话术，不让模型自由发挥。另外你也可以试试把temperature调低，再让它回答时带上引用来源，编造的概率会小一些。

这问题太常见了，光靠Prompt确实拦不住，GPT-4在信息缺失时特别爱“补全”。我一般会在检索后加一步相关性校验，如果召回片段跟问题不匹配就直接返回“没找到”，别给模型硬答的机会。另外可以试试让它输出前先引用原文片段，再基于引用作答，脑补空间会小很多。还有个偏方是把temperature调低，虽然治标不治本，但能少编点。

这个问题我也踩过，后来发现光靠Prompt约束基本没用，模型该编还是编。我的做法是在检索后加一步过滤，如果召回片段跟问题相关性低于阈值，就直接回复“没有找到相关信息”，不给LLM发挥的机会。另外可以试试让它先输出引用的原文句子，再基于句子作答，这样它编的时候会露馅。

这个坑我也踩过，光靠Prompt真的很难完全摁住模型。我后来是在检索后加了一层过滤，先判断召回内容跟问题是否真的相关，不相关就直接兜底回复“暂无相关信息”。另外可以试试让模型在回答前先输出引用片段，没有引用就不让它给结论，效果会好不少。温度调低也有帮助，但别指望根治。

光靠Prompt确实压不住，我后来改成检索不到就直接返回“未找到”，别让模型自由发挥。

光靠prompt真的不够，我后来加了后处理校验，让它答完再自检一遍有没有超出检索范围，效果才稳。

加一句“找不到就直说不知道”，比光强调别脑补管用多了。

光靠Prompt确实很难彻底管住，模型天生就有补全的倾向，尤其是问题里带了“价格”这种它觉得该有答案的词。可以试试在检索后加一层判断，如果召回片段里没有相关信息，直接让它说“资料里没提到”，而不是硬答。另外把temperature调低、要求它引用原文句子，也能压一压脑补。我这边还会在prompt里加一句“如果检索内容不含答案就明确说不知道”，比单纯说“只基于检索内容”管用些。

这个问题挺典型的，我搭RAG的时候也踩过，光靠prompt里写“只基于检索内容”基本是治标不治本。模型本质上是概率续写，你越问价格这种它训练里见过无数次的模式，它越容易顺着惯性编一个看起来合理的答案，哪怕上下文里压根没有。我的做法是先把“检索不到就直接说不知道”变成硬约束，比如在system里明确要求：如果检索内容不包含答案所需的关键信息，必须回复固定的兜底话术，同时给它几个few-shot示例，专门演示这种拒答场景。另一个关键是检索侧要加相关性阈值，很多时候你以为召回了相关片段，其实只是语义上沾边，模型拿到这种半相关的内容反而更容易脑补。还可以在生成后再加一层校验，用另一个模型或者规则去检查答案里的数字、价格、日期这些是否能在原文里找到出处，找不到就打回或降级。如果业务对准确性要求高，干脆把价格这类字段从自由生成改成结构化抽取，让模型只负责判断“有没有”，别让它负责“编多少”。

学到了，感谢分享！