RAG里Prompt模板怎么写才能让大模型老实引用原文而不是乱编？

Prompt约束是一方面，但更关键的是在检索层给模型“断粮”——我试过把chunk切小到300字左右，并且让每个chunk自带标题和来源页码，模型引用时明显老实很多。另外你可以在Prompt里加一句“如果上下文没有直接对应内容，请回答‘资料中未提及’”，比“不知道”更具体。XML标签可以保留，但别指望它解决缝合问题，我最后是加了相似度阈值过滤，低于0.7的chunk直接不送进上下文。

只靠prompt约束确实不够稳，我后面加了引用来源格式要求，比如必须带页码，幻觉少很多。

我之前也遇到过这问题，纯靠prompt约束真不够，尤其PDF切出来的chunk经常有上下文断裂，模型一“脑补”就串味儿。后来我把检索到的每段都加上来源页码和章节标题，让模型引用时带上出处，明显老实多了。你可以试试在系统消息里加一句“只能引用给定文本中的原句，且标注来源”，比在用户消息里反复强调管用。另外别用XML标签，容易干扰注意力，用简单的编号加分隔线反而更清晰。

说实话光靠prompt约束真的不够，我试过把“必须逐字引用”写进system里，该编还是编。后来我把检索到的chunk按段落拆开，每个段落前面加个编号，然后要求模型回答时带上[段落号]引用标记，效果好了不少。另外可以试试让模型先复述一遍相关原文再回答，相当于强制它走一遍“阅读理解”流程，比直接让它生成答案稳得多。

这问题我太有同感了，纯靠prompt约束确实容易翻车，尤其是长文档里信息重叠的时候。我的经验是，光在模板里加“严格引用”没用，得先让模型“无路可走”——比如在检索回来的每个chunk前面加个编号和来源页码，然后prompt里明确要求“回答必须包含[编号]标注，且每个论点只能来自单个编号块”。这样模型就算想缝合，也得先过“引用格式”这关，脑补成本会高很多。另外你试过把输出格式限定成“先给结论，再逐条列证据+编号”吗？结构化输出比纯文本更容易逼它走查证流程。还有个土办法，就是在system层加一句“如果多个段落信息冲突，以最早出现的段落为准”，能压掉不少缝合怪回答。最后建议你查一下LangChain的recursive retrieval，把相似度阈值调高，宁可漏检也别给模型喂太碎的拼接内容。

光靠prompt约束确实容易翻车，我试过在system里写“禁止联想”也没用。后来是把检索到的chunk按原文顺序编号，让模型用“如[3]所述”这种格式回答，明显老实多了。另外你可以在用户消息里加一句“若引用原文请用引号标注，否则判定为错误答案”，配合few-shot给一个正确和错误示例，比单纯强调“基于内容”管用。

说实话prompt约束真治不了根，我试过把“只准引用原文”写进system里，照样能给你缝出三段话。关键还是得在检索层下手，比如把chunk切小一点，或者干脆用map-reduce先让模型对每个chunk单独出答案，最后再汇总，这样它想乱编都没素材。另外你可以试试在上下文里给每个段落标个编号，然后要求回答时必须带“[1]”这种引用标记，至少能逼它往原文上靠。不过说真的，如果PDF里表格多，这招也容易翻车，你最好还是先检查下chunking是不是把表格拆烂了。

说实话光靠prompt约束真不够，我试过给模型加“必须逐字引用”这种狠话，该幻觉还是幻觉。后来把检索到的chunk先做个简单后处理，比如按相似度排序后只保留前两段，并且把每段原文用引号加来源页码标出来，模型老实多了。你可以试试在system消息里规定“回答只能由引号内内容拼接组成，禁止改写”，比在user消息里强调有用。另外OpenAI对“引用原文”的理解挺迷的，建议把参考段落直接切成小段，每段前面加编号，让模型回答时强制带编号，这样至少能追踪它用了哪段。

光靠prompt真不够，建议把检索的chunk按来源文档拆开喂给模型，再强制它输出引用页码，翻车率能降不少。

光靠prompt真不够，得在检索端把chunk切小点，再让模型输出时带上引用来源的编号，能明显减少瞎编。

光靠prompt约束确实容易翻车，我后来是把检索到的chunk按来源和页码拆开，在每段前面加个“引用自第X页”的标签，然后明确要求模型回答时带上这个标签，效果比单纯说“严格基于内容”稳多了。另外你试过把temperature调低到0.1以下吗？我这边调完明显减少了缝合现象。还有个小技巧，就是让模型先复述一遍相关原文再作答，相当于强制它先“读”再“写”，也能压住脑补的冲动。

光靠prompt真不够，我试过在模板里加引用编号让模型必须输出对应段落，翻车率能降不少。

Prompt约束真不是万能的，我试过在模板里塞“禁止总结”“必须逐字引用”，结果该编还是编。后来发现关键在检索端，得把chunk切小点，并且带上原文页码和段落号，让模型知道引用来源在哪。另外给模型一个“引用失败”的退路，比如让它说“根据文档第X页，但未找到直接相关描述”，比硬憋强多了。你试试把上下文里“相关段落”改成“以下为原文片段，引用时需包含原句”，配合few-shot给个正反例，会稳很多。

Prompt只能约束下限，真正决定引用质量的是你喂给模型的chunk长啥样。我试过把检索到的段落按“原文引用+答案”拆成两段，让模型先抄原文再给结论，比单纯强调“严格基于上下文”稳多了。另外你可以在system里加一条规则：如果某个信息在原文里找不到对应句子，就必须输出“未找到相关依据”，而不是自己拼凑。XML标签那种方法我也试过，但感觉对GPT-4作用有限，不如直接把原文切成小段，每段前面标好文档页码和标题，让模型引用时带上出处。还有个小技巧，把temperature调低到0.1左右，脑补概率会明显下降。

光靠prompt不够，得在检索层做文章，比如让每个chunk自带来源标记和“仅据本段回答”的硬约束。

试试在Prompt里加一句“只准用引号内的原文回答”，同时把检索阈值调高，chunk切小点，比光靠提示词稳多了。

说实话纯靠prompt约束确实不太够，我试过把原文用引号框起来然后加“只能引用引号内内容”也一样翻车。后来我是把检索到的chunk直接拼进system prompt里，并明确告诉模型“你是一个引用生成器，输出必须包含原文片段”，同时让模型先抽取关键句再组织回答，比单纯说“别编”稳定很多。另外你可以在链路上加个简单的后处理校验，比如让模型输出时带上chunk编号，再比对回答里有没有对应原文的连续子串，这样能抓出缝合的情况。

说实话光靠prompt约束确实治标不治本，我试过在system里写“必须用原文原句”，结果模型还是会自己改写。后来发现关键是把chunk切小一点，并且每个chunk带上文档标题和页码，让模型知道引用来源在哪。另外你可以试试在prompt里明确要求“输出格式：引用原文+简短解释”，这样能逼它先摘录再发挥。还有个土办法，检索回来的top-k别全塞进去，只留跟问题语义最贴近的那一两段，减少它缝合的机会。

说实话纯靠prompt约束真的不够，我试过把原文用```包起来加“逐字引用”也没用，模型该缝合还是缝合。你不如在检索那步下功夫，把chunk切小点，或者用map-reduce的方式让每个chunk先独立回答再汇总，这样至少能减少跨段乱拼。另外可以在prompt里加一句“如果答案需要结合多个段落，请明确标注每段来源”，然后配合输出格式要求，比如让它先给结论再列引用片段，效果会比单纯强调“严格基于”稳定不少。

这问题我踩过差不多的坑，纯靠prompt约束确实稳不住。我当时是把检索到的chunk按序号列出来，然后明确要求模型回答时必须在末尾标注引用了哪几条，比如“（依据第3段）”，这样它为了标对就得去核对原文，脑补概率低很多。另外你可以在系统层面对chunk做个简单去重和拼接，把重复信息合并，减少模型自己选择的余地。还有个土办法，把PDF按章节切成更小的块，检索时限制只返回top2，信息少了反而更老实。