最近在调一个RAG问答系统，用的LlamaIndex加GPT-4。发现一个问题：我明明在系统Prompt里写了“请优先根据检索到的文档回答”，但模型有时候还是会自己“编”一些通用知识进去，尤其当文档内容比较零散时。试过加“如果文档信息不足，请明确说不知道”，结果它又太保守，连能推理的答案都拒绝。
想问下大家，RAG场景下给大模型的Prompt是不是应该跟纯问答分开设计？比如要不要在系统提示里强调“仅使用检索内容”，还是应该把检索结果直接拼到用户提问里？另外，对于多轮对话中的重复检索，有没有什么好的提示词技巧避免模型“遗忘”上下文？
真诚求教，调得有点迷茫了。