Agent多步推理任务中，Prompt该怎么设计才能减少“幻觉”？

试试把工具结果直接以证据块形式嵌进每一步的prompt里，强制模型先引用再推理，比单靠system约束稳很多。

拆成子Prompt更稳，每个子任务单独给检索结果约束，幻觉能少一半。你可以试试把“必须基于检索结果”改成“若检索无答案，直接声明无法判断”。

拆成子Prompt吧，每步单独校验结果，比硬塞一个长上下文靠谱多了。

试过把工具结果先缓存成变量再让模型引用，比让它自己复述靠谱得多，幻觉明显少了。硬性要求的话，我习惯在每步推理前加一句“只能使用上文工具返回的数据，否则输出‘无依据’”，比笼统的“必须基于检索结果”管用。至于拆不拆，如果步骤超过三步我倾向拆，单Prompt容易让模型偷懒合并中间逻辑。

我之前也踩过这个坑，单靠system prompt堆约束其实挺容易失效的，尤其模型一长就自己发挥。我后来是把多步推理拆成两段：第一段只做信息抽取和比对，第二段拿到结果再给结论，中间加一个硬性的“检查点”prompt，让模型把抽到的原文引用出来，这样编数据的情况少了很多。至于“必须基于检索结果”，我试过在每一步工具调用前都加一句“如果某数据不在上下文里，直接回答未知”，比全局要求管用。你现在的工具返回格式是结构化json吗？感觉反馈形式对幻觉影响也挺大的。

说实话我觉得你这个问题问到了点子上，ReAct风格在简单任务上确实好用，但一旦涉及多步推理，模型特别容易“自作聪明”地补全中间结果。我自己试下来的感觉是，与其把工具调用和推理全塞进一个system prompt，不如把任务拆成几个独立的子Prompt，每一步只让模型做一件事，比如先让它对比A和B，把结果存成结构化输出，再单独喂给下一步做结合C的推理。这样就算中间编数据，你也能在每步之间加一个校验，比事后查幻觉要容易得多。

关于“必须基于检索结果”这个硬要求，我个人经验是光靠“请基于文档回答”这种话没啥用，得在提示词里明确要求它引用具体的文本片段，最好让它把对应文档的段落编号或者原文摘录直接写在推理过程里，这样模型就不太敢凭空捏造。另外有个小技巧，你可以故意在prompt里写一句“如果检索结果中没有相关信息，请直接回答‘信息不足’，不要尝试推理”，这比反复强调“不要编造”有效得多。至于“请逐步思考”效果不稳定，我觉得是因为它太泛了，不如改成“先列出你已知的事实，再列出未知的，最后基于已知进行推理”，这样能把模型的思维框住。不知道你试过用few-shot示例来引导吗？找两个典型的多步推理例子，把正确和错误的输出都放进去，模型会学得更快。

我觉得拆成多个子Prompt单独调用会更稳一点，尤其你现在ReAct风格容易在中间步骤瞎编，本质上是模型在长上下文里丢失了约束。我试过把每个工具调用后的结果强制回填到下一轮Prompt里，并且明确写“如果检索结果中没有该数据，回答‘无法确认’”，这样能堵住不少幻觉。另外“请逐步思考”这种话太虚了，不如直接要求“每步输出必须引用对应文档的原文片段”，效果会立竿见影。你可以试试看，代价是token消耗会高一些，但正确率提升明显。

我最近也踩过这个坑，多步推理一旦塞进单prompt，模型很容易“偷懒”跳步。后来改成每次工具调用后单独生成一个子prompt，强制它先总结检索结果再下一步，幻觉明显少了。关于硬性约束，我习惯在system prompt里加一句“所有数值和结论必须直接引用检索文本，否则请回答‘信息不足’”，比单纯说“不要编造”管用。你试过给中间步骤加个“验证节点”吗？比如让模型先输出证据再下结论，效果会稳定很多。

我之前也踩过这个坑，ReAct写进system prompt里其实挺容易让模型“演”推理过程，建议把工具结果强制插入到每轮上下文里，并且明确写“如果检索不到就回答不知道”。拆成多个子Prompt我个人感觉比硬塞一个大Prompt更稳，至少每步能校验一下。另外“请逐步思考”真不如给个输出格式模板，比如“事实依据+推理步骤+结论”这种，模型跑偏概率会低不少。

我之前也踩过类似的坑，后来把大任务拆成两个子Prompt（先抽取证据再推理）之后，幻觉明显少了，但代价是耗时翻倍。你可以在关键步骤上强制加一句“如果检索结果里没有，就明确说不知道”，比“请逐步思考”稳定得多。另外，ReAct风格里工具返回的原始文本一定要截断，太长反而容易让模型自己脑补。

我个人经验是别把所有步骤都塞进一个prompt里，尤其ReAct那种长上下文的，模型越到后面越容易“抄近道”。我试过把“提取A数据”“提取B数据”“对比差异”“结合C给结论”拆成四个独立调用，每步的输入输出都显式传给下一步，幻觉率明显降了。但代价是延迟和token成本上去了，看你业务能不能接受。至于“必须基于检索结果”，我试过在system里加“如果检索不到相关内容，直接回答无法判断”这类硬约束，比“请基于事实”管用得多。还有个偏门技巧，就是把检索到的原文片段直接拼在问题后面，让模型先引用再推理，而不是让它自己回忆。你那个“请逐步思考”不稳定，我猜是因为它只约束了思考形式，没约束内容来源，建议改成“每一步结论必须附上对应文档编号或原文摘录”。另外想问你，拆分子prompt后，跨步骤的上下文衔接你是靠自然语言总结传递，还是直接拼原始文本？我总觉得总结会丢信息，但拼原文又太长。

拆成子Prompt一步步来，每步强制输出检索来源，比一口气憋完靠谱多了。

我之前也踩过这个坑，多步推理硬塞在一个prompt里确实容易崩，后来拆成子任务单独调，每步强制输出“检索到的证据+结论”，幻觉少了很多。另外“必须基于检索结果”这种要求，光写进system prompt没用，最好在每一步的user输入里带上原文片段，让模型直接引用，不然它还是会自由发挥。你试过给工具调用加一个“无结果就返回NA”的约束吗？我加了之后模型至少不敢乱编了。

建议拆成子Prompt，每步只喂相关上下文，幻觉能少一大截，试试让模型先输出检索依据再推理。

说下我自己的经验，拆成多个子Prompt确实比硬塞在一个大Prompt里稳很多，尤其是中间步骤需要调用工具时，每步单独验证结果能及时掐掉幻觉苗头。至于“必须基于检索结果”，我会在工具返回后加一句“如果上下文没有提到，直接回答不知道”，比单纯强调“不要编造”管用。另外你试过把推理链显式写进few-shot示例吗？给两三个带中间计算过程的例子，比“请逐步思考”这种空泛指令效果好得多。

我之前也踩过这个坑，后来发现把大任务拆成几个小Prompt真的比硬塞在一个里靠谱，尤其是“对比A和B”这种步骤，单独让模型输出结构化结果再喂给下一步，幻觉会少很多。关于“必须基于检索结果”，我试过在每一步开头强调“如果未找到明确依据，请回复‘信息不足’”，比单纯说“不要编造”有效得多，你可以试试。还有个疑问，你现在的工具调用结果有没有真正塞回上下文里？有时候模型跳步是因为它觉得信息够了，其实中间结果根本没被后续步骤看到。

拆成子Prompt更稳，每步只喂必要上下文，幻觉能少一半。硬约束就写“若检索无依据，直接回答不知道”。

拆成子Prompt吧，每步强制带检索结果再继续，幻觉能少一半。另外硬约束可以试试“没检索到就直说不知道”。

我最近也在搞类似的东西，单靠system prompt硬约束确实容易翻车。我现在是把多步推理拆成几个独立的子任务，每步单独调用一次模型，这样中间结果能直接看到，哪步开始瞎编一眼就能发现。至于硬性要求，我会在每次检索后把原文片段直接拼进user prompt里，然后明确说“只基于以上内容回答”，比单纯在system里写“不准编造”管用得多。另外你试过让模型先输出引用再下结论吗？这招对我这边的幻觉问题挺有效的。

碰到过类似问题，单靠一个system prompt塞太多约束反而容易让模型混乱。我最近把任务拆成“检索+推理”两个子prompt，中间用结构化输出（比如JSON）传递结果，幻觉明显少很多。硬性要求的话，可以试试在每步推理前加一句“只允许引用上一步返回的数据”，或者让模型先输出“检索依据”再写结论，这样它就没法跳过证据了。另外“逐步思考”最好配合few-shot示例，光喊口号没用。