最近在做公司内部知识库的RAG问答,用的GPT-4。发现个很头疼的问题:我明明在system prompt里写了“只基于给定上下文回答,不要联想”,但一旦检索回来的片段里包含一些模糊表述,模型还是会顺着跑偏,甚至自己脑补出答案。
楼主
2026-08-11
Prompt工程在RAG场景里到底怎么调?系统提示词总被检索内容带偏
请 登录 后发表回复
全部回复
共 82 条
2楼
15天前
试试把“只基于上下文”改成“找不到就说不知道”,再让检索片段带上来源标记,模型会老实很多。
3楼
14天前
我也碰到过一模一样的情况,system prompt写得再狠,检索片段一模糊模型就开始自由发挥。后来我试了个办法,在拼接上下文的时候给每个片段加上来源标记,然后提示词里明确说“如果片段之间互相矛盾或信息不足,直接回答不知道”,效果好了不少。另外温度调低一点也有帮助,别让它太有创造力。你可以试试把“不要联想”换成具体的正面指令,比如“只复述上下文中出现的原话”,模型对否定指令其实不太敏感。