最近在做一个多跳逻辑推理的Prompt，需要模型从一段长文本里提取3-4个关键实体，然后按因果链条推理出结论。我用了Chain-of-Thought，把每一步拆成“提取A→关联B→推导C”这样，但模型经常在第二步就开始乱编，比如自己虚构出文本里没有的实体，或者跳过某一步直接给结论。试过加few-shot示例、调整temperature到0.3，还是不太稳定。是不是我的CoT结构太长了？或者需要加“检查上一步”的约束？有没有大佬踩过类似的坑，求指路🙏
楼主
1小时前
用CoT写复杂推理任务，模型总在中间步骤跑偏，怎么调？
请 登录 后发表回复
全部回复
共 2 条
2楼
1小时前
我最近也在搞类似的推理任务，踩过一模一样的坑。后来试了在每一步后面加一个“是否与原文一致”的验证指令，虽然会稍微增加token，但虚构实体的问题明显少了。另外，如果CoT步骤超过4步，我一般会拆成两个子prompt分阶段执行，中间用输出格式化强制约束，感觉比一口气跑完稳很多。
3楼
50分钟前
我最近也在搞类似的多跳推理，感觉你遇到的问题挺典型的。试过把CoT改成“先提取所有实体→再逐对检查关联→最后合成推理”这种更结构化的步骤，效果比直接链条式拆解要好一些。另外可以在每步后面加个“请确认此信息是否在原文中出现过”的自我校验提示，虽然会多花点token但能减少幻觉。temperature调到0.1甚至0可能更稳，就是输出会偏保守。